Chyby limitu požiadaviek ('Too Many Requests', ‘Rate limit reached’) vznikajú pri dosiahnutí limitu požiadaviek vašej organizácie, čo je maximálny počet požiadaviek a tokenov, ktoré možno odoslať za minútu. Ak sa limit dosiahne, organizácia nemôže úspešne odosielať požiadavky, kým sa limit požiadaviek neobnoví. Chybové hlásenie vyzerá takto:
Dosiahnutý limit rýchlosti pre gpt-3.5-turbo v organizácii org-exampleorgid123 pre tokeny za minútu.
Limit: 10000.000000 / min. Aktuálne: 10020.000000 / min. Tieto chyby odporúčame riešiť pomocou exponenciálneho backoffu. Exponenciálny backoff znamená, že pri výskyte chyby limitu požiadaviek sa vykoná krátke čakanie a potom sa neúspešná požiadavka zopakuje. Ak je požiadavka stále neúspešná, dĺžka čakania sa zvýši a proces sa zopakuje. Takto to pokračuje, kým požiadavka nebude úspešná alebo kým sa nedosiahne maximálny počet opakovaní.
Keďže neúspešné požiadavky sa započítavajú do vášho minútového limitu, nepretržité opätovné odosielanie požiadavky nebude fungovať. Limity požiadaviek sa môžu uplatňovať aj na kratšie obdobia – napríklad 1 požiadavka za sekundu pri limite 60 RPM – čo znamená, že aj krátke nárazové odosielanie veľkého počtu požiadaviek môže viesť k chybám limitu požiadaviek. Exponenciálny backoff funguje dobre, pretože rozkladá požiadavky v čase, čím minimalizuje frekvenciu týchto chýb.
V Pythone by riešenie exponenciálneho backoffu mohlo vyzerať takto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Upozornenie: Knižnica backoff je nástroj tretej strany. Všetkých našich zákazníkov vyzývame, aby pri overovaní akéhokoľvek externého kódu pre svoje projekty postupovali s náležitou dôkladnosťou.)
Ak implementácia exponenciálneho backoffu stále vedie k tejto chybe, možno budete musieť zvýšiť svoju úroveň používania. Svoje aktuálne limity požiadaviek a informácie o tom, ako zvýšiť úroveň dôveryhodnosti, aby ste zvýšili svoje limity požiadaviek, nájdete v sekcii limitov v nastaveniach účtu.