Uvod v omejitve hitrosti
Omejitve hitrosti so omejitve, ki jih naš API nalaga glede tega, kolikokrat lahko uporabnik ali odjemalec dostopa do naših storitev v določenem časovnem obdobju.
Omejitve hitrosti so lahko kvantizirane, kar pomeni, da se uveljavljajo v krajših časovnih obdobjih (npr. 60.000 zahtev/minuto se lahko uveljavlja kot 1.000 zahtev/sekundo). Pošiljanje kratkih izbruhov zahtev ali kontekstov (pozivi+max_completion_tokens), ki so predolgi, lahko povzroči napake omejitve hitrosti, tudi če ste tehnično pod omejitvijo hitrosti na minuto.
Najboljše prakse za preprečevanje napak omejitve hitrosti
Privzeta organizacija
Če pripadate več organizacijam z različnimi obračunskimi načrti in ravnmi uporabe, poskrbite, da je vaša privzeta organizacija nastavljena na ustrezno organizacijo, da nadzorujete, katera organizacija se privzeto uporablja pri pošiljanju zahtev z vašimi ključi API.
Eksponentni zamik
V kodo vključite logiko eksponentnega zamika. Tako boste prestregli neuspele zahteve in jih znova poskusili izvesti.
Omejitve žetonov
Zmanjšajte max_completion_tokens, da se ujema z velikostjo vaših dokončanj. Potrebe po uporabi se ocenijo na podlagi te vrednosti, zato bo njeno zmanjšanje zmanjšalo možnost, da nepričakovano prejmete napako omejitve hitrosti. Če na primer vaš poziv ustvari dokončanja s približno 400 žetoni, naj bo vrednost max_tokens približno enako velika.
Optimizirajte svoje pozive. To lahko storite tako, da skrajšate navodila, odstranite odvečne besede in izločite dodatne primere. Morda boste morali poziv po teh spremembah še prilagoditi in preizkusiti, da se prepričate, da še vedno dobro deluje. Dodatna prednost krajšega poziva so nižji stroški za vas. Če potrebujete pomoč, nam sporočite.
Raven uporabe
Če ste uvedli te najboljše prakse, vendar se še vedno srečujete z napakami omejitve hitrosti, lahko omejitve hitrosti povečate tako, da zvišate raven uporabe. Svoje trenutne omejitve hitrosti, trenutno raven uporabe in navodila za zvišanje ravni uporabe/omejitev si lahko ogledate v razdelku Omejitve v nastavitvah računa.
Dodatno branje
Preglejte našo celovito dokumentacijo o ravneh uporabe in omejitvah hitrosti tukaj.