Uvod u ograničenja broja zahtjeva
Ograničenja broja zahtjeva su ograničenja koja naš API nameće broju puta koliko korisnik ili klijent može pristupiti našim uslugama u određenom razdoblju.
Ograničenja broja zahtjeva mogu biti kvantizirana, što znači da se provode tijekom kraćih vremenskih razdoblja (npr. 60.000 zahtjeva u minuti može se provoditi kao 1.000 zahtjeva u sekundi). Slanje kratkih nizova zahtjeva ili konteksta (upiti+max_completion_tokens) koji su predugi može dovesti do pogrešaka ograničenja broja zahtjeva, čak i kada ste tehnički ispod ograničenja broja zahtjeva po minuti.
Najbolje prakse za sprječavanje pogrešaka ograničenja broja zahtjeva
Zadana organizacija
Ako pripadate više organizacija s različitim planovima naplate i razinama upotrebe, provjerite je li vaša zadana organizacija postavljena na odgovarajuću organizaciju kako biste kontrolirali koja se organizacija upotrebljava prema zadanim postavkama pri slanju zahtjeva pomoću vaših API ključeva.
Eksponencijalno odgađanje
Uključite logiku eksponencijalnog odgađanja u svoj kod. Time ćete uhvatiti neuspjele zahtjeve i ponovno ih poslati.
Ograničenja tokena
Smanjite max_completion_tokens tako da odgovara veličini vaših dovršetaka. Potrebe za upotrebom procjenjuju se na temelju te vrijednosti, pa će njezino smanjenje smanjiti vjerojatnost da neočekivano dobijete pogrešku ograničenja broja zahtjeva. Na primjer, ako vaš upit stvara dovršetke od oko 400 tokena, vrijednost max_tokens trebala bi biti približno iste veličine.
Optimizirajte svoje upite. To možete učiniti skraćivanjem uputa, uklanjanjem suvišnih riječi i izbacivanjem suvišnih primjera. Možda ćete morati doraditi upit i testirati ga nakon tih promjena kako biste bili sigurni da i dalje dobro funkcionira. Dodatna je prednost kraćeg upita niži trošak za vas. Ako trebate pomoć, javite nam.
Razina upotrebe
Ako ste primijenili ove najbolje prakse, ali se i dalje susrećete s pogreškama ograničenja broja zahtjeva, ograničenja broja zahtjeva možete povećati povećanjem svoje razine upotrebe. Trenutačna ograničenja broja zahtjeva, trenutačnu razinu upotrebe i upute za povećanje razine upotrebe/ograničenja možete vidjeti u odjeljku Ograničenja u postavkama računa.
Dodatna literatura
Pregledajte našu sveobuhvatnu dokumentaciju o razinama upotrebe i ograničenjima broja zahtjeva ovdje.