Úvod do limitů rychlosti
Limity rychlosti jsou omezení, která naše API ukládá na počet přístupů uživatele nebo klienta k našim službám během určitého časového období.
Limity rychlosti mohou být kvantované, což znamená, že se vynucují v kratších časových úsecích (např. 60 000 požadavků za minutu může být vynucováno jako 1 000 požadavků za sekundu). Odesílání krátkých dávek požadavků nebo kontextů (prompts+max_completion_tokens), které jsou příliš dlouhé, může vést k chybám limitu rychlosti, i když jste technicky pod limitem za minutu.
Osvědčené postupy, jak předejít chybám limitu rychlosti
Výchozí organizace
Pokud patříte do více organizací s různými fakturačními plány a úrovněmi využití, ujistěte se, že je vaše výchozí organizace nastavena na příslušnou organizaci, abyste určili, která organizace se ve výchozím nastavení použije při odesílání požadavků pomocí vašich API klíčů.
Exponenciální backoff
Zahrňte do svého kódu logiku exponenciálního backoffu. Ta zachytí neúspěšné požadavky a zopakuje je.
Limity tokenů
Snižte hodnotu max_completion_tokens tak, aby odpovídala velikosti vašich dokončení. Potřeby využití se odhadují z této hodnoty, takže její snížení zmenší pravděpodobnost, že neočekávaně obdržíte chybu limitu rychlosti. Například pokud váš prompt vytváří dokončení o délce kolem 400 tokenů, hodnota max_tokens by měla být přibližně stejně velká.
Optimalizujte své prompty. Toho můžete dosáhnout zkrácením pokynů, odstraněním nadbytečných slov a vyřazením zbytečných příkladů. Možná budete muset svůj prompt po těchto změnách upravit a otestovat, abyste se ujistili, že stále funguje dobře. Další výhodou kratšího promptu jsou nižší náklady pro vás. Pokud potřebujete pomoc, dejte nám vědět.
Úroveň využití
Pokud jste zavedli tyto osvědčené postupy, ale stále se potýkáte s chybami limitu rychlosti, můžete své limity rychlosti zvýšit zvýšením své úrovně využití. Své aktuální limity rychlosti, svou aktuální úroveň využití a informace o tom, jak zvýšit svou úroveň využití/limity, najdete v části Limity v nastavení účtu.
Další čtení
Podívejte se na naši komplexní dokumentaci k úrovním využití a limitům rychlosti zde.