Greške ograničenja brzine ('Previše zahtjeva', ‘Dostignuto ograničenje brzine’) nastaju kada se dostigne ograničenje brzine vaše organizacije, što je maksimalan broj zahtjeva i tokena koji se mogu poslati po minuti. Ako se ograničenje dostigne, organizacija ne može uspješno slati zahtjeve dok se ograničenje brzine ne resetuje. Poruka o grešci izgleda ovako:
Dostignuto ograničenje brzine za gpt-3.5-turbo u organizaciji org-exampleorgid123 za tokene po minuti.
Ograničenje: 10000.000000 / min. Trenutno: 10020.000000 / min. Preporučujemo da ove greške obrađujete pomoću eksponencijalnog odgađanja. Eksponencijalno odgađanje znači napraviti kratku pauzu kada se naiđe na grešku ograničenja brzine, a zatim ponovo pokušati neuspjeli zahtjev. Ako je zahtjev i dalje neuspješan, dužina pauze se povećava i proces se ponavlja. To se nastavlja dok zahtjev ne bude uspješan ili dok se ne dostigne maksimalan broj ponovnih pokušaja.
Budući da neuspješni zahtjevi doprinose vašem ograničenju po minuti, stalno ponovno slanje zahtjeva neće funkcionisati. Ograničenja brzine mogu se primjenjivati tokom kraćih perioda - na primjer, 1 zahtjev u sekundi za ograničenje od 60 RPM - što znači da kratki naleti velikog broja zahtjeva također mogu dovesti do grešaka ograničenja brzine. Eksponencijalno odgađanje dobro funkcioniše tako što razdvaja zahtjeve kako bi se smanjila učestalost ovih grešaka.
U Pythonu, rješenje za eksponencijalno odgađanje moglo bi izgledati ovako:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Imajte na umu: Biblioteka backoff je alat treće strane. Ohrabrujemo sve naše korisnike da provedu potrebnu provjeru kada je riječ o validaciji bilo kojeg eksternog koda za njihove projekte.)
Ako implementacija eksponencijalnog odgađanja i dalje rezultira ovom greškom, možda ćete morati povećati svoj nivo upotrebe. Svoja trenutna ograničenja brzine i način povećanja nivoa povjerenja radi povećanja ograničenja brzine možete pogledati u odjeljku za ograničenja u postavkama svog računa.