Napake omejitve hitrosti ('Too Many Requests', »Rate limit reached«) nastanejo, ko dosežete omejitev hitrosti svoje organizacije, kar je največje število zahtev in žetonov, ki jih je mogoče poslati na minuto. Če je omejitev dosežena, organizacija ne more uspešno pošiljati zahtev, dokler se omejitev hitrosti ne ponastavi. Sporočilo o napaki je videti tako:
Omejitev hitrosti dosežena za gpt-3.5-turbo v organizaciji org-exampleorgid123 za žetone na minuto.
Omejitev: 10000.000000 / min. Trenutno: 10020.000000 / min. Priporočamo, da te napake obravnavate z eksponentnim zamikanjem. Eksponentno zamikanje pomeni, da ob napaki omejitve hitrosti izvedete kratek premor, nato pa znova poskusite neuspešno zahtevo. Če zahteva še vedno ni uspešna, se dolžina premora poveča in postopek se ponovi. To se nadaljuje, dokler zahteva ni uspešna ali dokler ni doseženo največje število ponovnih poskusov.
Ker neuspešne zahteve prispevajo k vaši omejitvi na minuto, neprekinjeno ponovno pošiljanje zahteve ne bo delovalo. Omejitve hitrosti se lahko uporabljajo v krajših obdobjih – na primer 1 zahteva na sekundo pri omejitvi 60 RPM – kar pomeni, da lahko tudi kratki izbruhi velikega števila zahtev povzročijo napake omejitve hitrosti. Eksponentno zamikanje dobro deluje tako, da razmika zahteve in s tem zmanjša pogostost teh napak.
V Pythonu bi bila rešitev z eksponentnim zamikanjem lahko videti tako:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Upoštevajte: knjižnica backoff je orodje tretje osebe. Vse naše stranke spodbujamo, naj s potrebno skrbnostjo preverijo vso zunanjo kodo za svoje projekte.)
Če se ta napaka še vedno pojavlja tudi po uvedbi eksponentnega zamikanja, boste morda morali povečati svojo raven uporabe. Svoje trenutne omejitve hitrosti in navodila za povečanje ravni zaupanja, da povečate omejitve hitrosti, si lahko ogledate v razdelku z omejitvami v nastavitvah računa.