Chyby limitu frekvence požadavků („Příliš mnoho požadavků“, „Dosažen limit frekvence požadavků“) vznikají při dosažení limitu frekvence požadavků vaší organizace, což je maximální počet požadavků a tokenů, které lze odeslat za minutu. Pokud je limit dosažen, organizace nemůže úspěšně odesílat požadavky, dokud se limit frekvence požadavků neresetuje. Chybová zpráva vypadá takto:
Byl dosažen limit rychlosti pro gpt-3.5-turbo v organizaci org-exampleorgid123 pro tokeny za minutu.
Limit: 10000.000000 / min. Aktuálně: 10020.000000 / min. Doporučujeme tyto chyby řešit pomocí exponenciálního ustupování. Exponenciální ustupování znamená, že při chybě limitu frekvence požadavků na krátkou dobu pozastavíte zpracování a poté znovu zkusíte neúspěšný požadavek. Pokud je požadavek stále neúspěšný, doba pozastavení se prodlouží a postup se opakuje. To pokračuje, dokud požadavek neuspěje nebo dokud není dosažen maximální počet opakování.
Protože neúspěšné požadavky se započítávají do vašeho limitu za minutu, nepřetržité opakované odesílání požadavku nebude fungovat. Limity frekvence požadavků se mohou uplatňovat i v kratších intervalech – například 1 požadavek za sekundu při limitu 60 RPM – což znamená, že krátké nárazové vlny velkého počtu požadavků mohou také vést k chybám limitu frekvence požadavků. Exponenciální ustupování funguje dobře, protože rozkládá požadavky v čase a minimalizuje četnost těchto chyb.
V Pythonu by řešení s exponenciálním ustupováním mohlo vypadat takto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Upozornění: Knihovna backoff je nástroj třetí strany. Všem našim zákazníkům doporučujeme, aby při ověřování jakéhokoli externího kódu pro své projekty postupovali s náležitou péčí.)
Pokud implementace exponenciálního ustupování stále vede k této chybě, možná budete muset zvýšit svou úroveň používání. Aktuální limity frekvence požadavků a postup, jak zvýšit úroveň důvěry pro navýšení limitů frekvence požadavků, najdete v části limity v nastavení účtu.