Chyby limitu frekvence požadavků ('Příliš mnoho požadavků', „Dosažen limit frekvence požadavků“) jsou způsobeny dosažením limitu frekvence požadavků vaší organizace, což je maximální počet požadavků a tokenů, které lze odeslat za minutu. Pokud je limit dosažen, organizace nemůže úspěšně odesílat požadavky, dokud se limit frekvence požadavků neobnoví. Chybová zpráva vypadá takto:
Byl dosažen limit rychlosti pro gpt-3.5-turbo v organizaci org-exampleorgid123 pro tokeny za minutu.
Limit: 10000.000000 / min. Aktuálně: 10020.000000 / min. Doporučujeme tyto chyby zpracovávat pomocí exponenciálního backoffu. Exponenciální backoff znamená krátce počkat při dosažení chyby limitu frekvence požadavků a pak neúspěšný požadavek zopakovat. Pokud je požadavek stále neúspěšný, doba čekání se prodlouží a proces se zopakuje. To pokračuje, dokud není požadavek úspěšný nebo dokud není dosažen maximální počet opakování.
Protože se neúspěšné požadavky započítávají do vašeho limitu za minutu, nepomůže požadavek neustále znovu odesílat. Limity frekvence požadavků lze uplatňovat i v kratších obdobích – například 1 požadavek za sekundu při limitu 60 RPM – což znamená, že i krátké špičky s vysokým objemem požadavků mohou vést k chybám limitu frekvence požadavků. Exponenciální backoff funguje dobře, protože rozestupuje požadavky tak, aby minimalizoval četnost těchto chyb.
V Pythonu může řešení s exponenciálním backoffem vypadat takto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Upozornění: Knihovna backoff je nástroj třetí strany. Doporučujeme všem zákazníkům, aby provedli náležitou kontrolu při ověřování jakéhokoli externího kódu pro své projekty.)
Pokud implementace exponenciálního backoffu stále vede k této chybě, možná budete muset zvýšit svou úroveň využití. Své aktuální limity frekvence požadavků a informace o tom, jak zvýšit úroveň důvěry pro navýšení limitů frekvence požadavků, najdete v sekci limitů v nastavení účtu.