Úvod do limitov požiadaviek
Limity požiadaviek sú obmedzenia, ktoré naše API uplatňuje na počet prístupov používateľa alebo klienta k našim službám v určenom časovom období.
Limity požiadaviek môžu byť kvantizované, čo znamená, že sa vynucujú v kratších časových intervaloch (napr. 60 000 požiadaviek/minútu sa môže vynucovať ako 1 000 požiadaviek/sekundu). Odosielanie krátkych dávok požiadaviek alebo príliš dlhých kontextov (príkazy + max_completion_tokens) môže viesť k chybám limitu požiadaviek, aj keď ste technicky pod limitom požiadaviek za minútu.
Osvedčené postupy na predchádzanie chybám limitu požiadaviek
Predvolená organizácia
Ak patríte do viacerých organizácií s rôznymi fakturačnými plánmi a úrovňami používania, uistite sa, že vaša predvolená organizácia je nastavená na príslušnú organizáciu, aby ste mohli určiť, ktorá organizácia sa predvolene použije pri odosielaní požiadaviek s vašimi kľúčmi API.
Exponenciálne ustupovanie
Zahrňte do svojho kódu logiku exponenciálneho ustupovania. Táto logika zachytí neúspešné požiadavky a skúsi ich znova odoslať.
Limity tokenov
Znížte hodnotu max_completion_tokens tak, aby zodpovedala veľkosti vašich doplnení. Potreby používania sa odhadujú podľa tejto hodnoty, takže jej znížením zmenšíte pravdepodobnosť, že nečakane dostanete chybu limitu požiadaviek. Ak napríklad váš príkaz vytvára doplnenia s približne 400 tokenmi, hodnota max_tokens by mala mať približne rovnakú veľkosť.
Optimalizujte svoje príkazy. Môžete to urobiť skrátením pokynov, odstránením nadbytočných slov a vynechaním nadbytočných príkladov. Možno budete musieť svoj príkaz upraviť a po týchto zmenách ho otestovať, aby ste sa uistili, že stále funguje dobre. Ďalšou výhodou kratšieho príkazu sú nižšie náklady pre vás. Ak potrebujete pomoc, dajte nám vedieť.
Úroveň používania
Ak ste zaviedli tieto osvedčené postupy, no stále sa stretávate s chybami limitu požiadaviek, môžete si limity požiadaviek zvýšiť zvýšením svojej úrovne používania. Svoje aktuálne limity požiadaviek, aktuálnu úroveň používania a postup zvýšenia úrovne používania alebo limitov si môžete pozrieť v časti Limity v nastaveniach účtu.
Ďalšie informácie
Našu komplexnú dokumentáciu o úrovniach používania a limitoch požiadaviek si pozrite tu.