Uvod u ograničenja brzine
Ograničenja brzine su restrikcije koje naš API nameće na broj puta koliko korisnik ili klijent može pristupiti našim uslugama u određenom vremenskom periodu.
Ograničenja brzine mogu biti kvantizirana, što znači da se primjenjuju u kraćim vremenskim periodima (npr. 60.000 zahtjeva/minuti može se primjenjivati kao 1.000 zahtjeva/sekundi). Slanje kratkih naleta zahtjeva ili konteksta (upiti+max_completion_tokens) koji su predugi može dovesti do grešaka ograničenja brzine, čak i kada ste tehnički ispod ograničenja brzine po minuti.
Najbolje prakse za sprečavanje grešaka ograničenja brzine
Zadana organizacija
Ako pripadate većem broju organizacija s različitim planovima naplate i nivoima upotrebe, provjerite je li vaša zadana organizacija postavljena na odgovarajuću organizaciju kako biste kontrolisali koja se organizacija koristi kao zadana pri slanju zahtjeva s vašim API ključevima.
Eksponencijalno odgađanje
Uključite logiku eksponencijalnog odgađanja u svoj kod. To će uhvatiti neuspjele zahtjeve i pokušati ih ponovo poslati.
Ograničenja tokena
Smanjite max_completion_tokens tako da odgovara veličini vaših dovršetaka. Potrebe za upotrebom procjenjuju se na osnovu ove vrijednosti, pa će njeno smanjenje umanjiti šansu da neočekivano dobijete grešku ograničenja brzine. Na primjer, ako vaš upit stvara dovršetke od oko 400 tokena, vrijednost max_tokens treba biti približno iste veličine.
Optimizirajte svoje upite. To možete učiniti skraćivanjem uputa, uklanjanjem suvišnih riječi i izbacivanjem dodatnih primjera. Možda ćete morati doraditi svoj upit i testirati ga nakon ovih promjena kako biste se uvjerili da i dalje dobro radi. Dodatna korist kraćeg upita je smanjen trošak za vas. Ako vam treba pomoć, javite nam.
Nivo upotrebe
Ako ste implementirali ove najbolje prakse, ali se i dalje suočavate s greškama ograničenja brzine, svoja ograničenja brzine možete povećati povećanjem nivoa upotrebe. Svoja trenutna ograničenja brzine, trenutni nivo upotrebe i način kako povećati nivo upotrebe/ograničenja možete vidjeti u odjeljku Ograničenja u postavkama računa.
Dodatno čitanje
Pregledajte našu sveobuhvatnu dokumentaciju o nivoima upotrebe i ograničenjima brzine ovdje.