Սահմանաչափի սխալները («Too Many Requests», «Rate limit reached») առաջանում են, երբ հասնում եք ձեր կազմակերպության սահմանաչափին, որը մեկ րոպեում ուղարկվող հարցումների և թոքենների առավելագույն քանակն է։ Եթե սահմանաչափը լրացել է, կազմակերպությունը չի կարող հաջողությամբ հարցումներ ուղարկել մինչև սահմանաչափի վերակայումը։ Սխալի հաղորդագրությունն ունի այս տեսքը.
Սակագնային սահմանաչափը հասել է gpt-3.5-turbo-ի համար org-exampleorgid123 կազմակերպությունում՝ րոպեում թոքենների մասով։
Սահմանաչափ՝ 10000.000000 / րոպե։ Ընթացիկ՝ 10020.000000 / րոպե։ Խորհուրդ ենք տալիս այս սխալները կառավարել էքսպոնենցիալ հետաձգման միջոցով։ Էքսպոնենցիալ հետաձգումը նշանակում է՝ սահմանաչափի սխալի դեպքում կարճ դադար անել, ապա կրկին փորձել ձախողված հարցումը։ Եթե հարցումը դեռևս ձախողվում է, դադարի տևողությունն ավելացվում է, և գործընթացը կրկնվում է։ Սա շարունակվում է, մինչև հարցումը հաջողվի կամ հասնի կրկնափորձերի առավելագույն քանակին։
Քանի որ ձախողված հարցումները նույնպես հաշվարկվում են ձեր մեկ րոպեի սահմանաչափի մեջ, հարցումը անընդհատ կրկին ուղարկելը արդյունք չի տա։ Սահմանաչափերը կարող են կիրառվել ավելի կարճ ժամանակահատվածների վրա. օրինակ՝ 60 RPM սահմանաչափի դեպքում՝ վայրկյանում 1 հարցում, ինչը նշանակում է, որ հարցումների կարճատև մեծ ծավալի պոռթկումները նույնպես կարող են հանգեցնել սահմանաչափի սխալների։ Էքսպոնենցիալ հետաձգումն արդյունավետ է, քանի որ հարցումները տարածում է ժամանակի մեջ՝ նվազեցնելով այս սխալների հաճախականությունը։
Python-ում էքսպոնենցիալ հետաձգման լուծումը կարող է այսպիսի տեսք ունենալ.
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Խնդրում ենք նկատի ունենալ. backoff գրադարանը երրորդ կողմի գործիք է։ Մենք հորդորում ենք մեր բոլոր հաճախորդներին պատշաճ ստուգում կատարել՝ իրենց նախագծերի համար ցանկացած արտաքին կոդ վավերացնելիս։)
Եթե էքսպոնենցիալ հետաձգման իրականացումից հետո էլ այս սխալը շարունակվում է, գուցե անհրաժեշտ լինի բարձրացնել ձեր օգտագործման մակարդակը։ Ձեր ընթացիկ սահմանաչափերը և վստահության մակարդակը բարձրացնելու միջոցով սահմանաչափերը մեծացնելու եղանակը կարող եք տեսնել ձեր հաշվի կարգավորումների սահմանաչափերի բաժնում։