Úvod do limitů frekvence požadavků

Limity frekvence požadavků jsou omezení, která naše API ukládá na počet případů, kdy může uživatel nebo klient přistupovat k našim službám v zadaném časovém období.

Limity frekvence požadavků mohou být kvantizované, což znamená, že se vynucují v kratších časových obdobích (např. 60 000 požadavků za minutu může být vynucováno jako 1 000 požadavků za sekundu). Odesílání krátkých dávek požadavků nebo příliš dlouhých kontextů (prompty+max_completion_tokens) může vést k chybám limitu frekvence požadavků, i když jste technicky pod limitem frekvence požadavků za minutu.

Osvědčené postupy pro prevenci chyb limitu frekvence požadavků

Výchozí organizace

Pokud patříte do více organizací s různými fakturačními plány a úrovněmi využití, ujistěte se, že je vaše výchozí organizace nastavena na příslušnou organizaci, abyste mohli řídit, která organizace se standardně používá při odesílání požadavků s vašimi klíči API.

Exponenciální backoff

Zahrňte do svého kódu logiku exponenciálního backoffu. Ta zachytí neúspěšné požadavky a zkusí je opakovat.

Limity tokenů

Snižte hodnotu max_completion_tokens tak, aby odpovídala velikosti vašich dokončení. Potřeby využití se odhadují z této hodnoty, takže jejím snížením snížíte pravděpodobnost, že neočekávaně obdržíte chybu limitu frekvence požadavků. Pokud například váš prompt vytváří dokončení o rozsahu přibližně 400 tokenů, hodnota max_tokens by měla mít přibližně stejnou velikost.


Optimalizujte své prompty. Můžete toho dosáhnout zkrácením pokynů, odstraněním nadbytečných slov a zbavením se nadbytečných příkladů. Možná budete muset svůj prompt po těchto změnách upravit a otestovat, abyste se ujistili, že stále funguje dobře. Další výhodou kratšího promptu jsou nižší náklady pro vás. Pokud potřebujete pomoc, dejte nám vědět.

Úroveň využití

Pokud jste zavedli tyto osvědčené postupy, ale stále se setkáváte s chybami limitu frekvence požadavků, můžete své limity frekvence požadavků navýšit zvýšením úrovně využití. Aktuální limity frekvence požadavků, aktuální úroveň využití a postup zvýšení úrovně využití / limitů najdete v části Limity v nastavení svého účtu.

Další informace

Projděte si naši podrobnou dokumentaci k úrovním využití a limitům frekvence požadavků zde.