O introducere în limitele de rată

Limitele de rată sunt restricții pe care API-ul nostru le impune asupra numărului de ori în care un utilizator sau un client poate accesa serviciile noastre într-o perioadă de timp specificată.

Limitele de rată pot fi cuantificate, ceea ce înseamnă că sunt aplicate pe perioade mai scurte de timp (de ex. 60.000 de cereri/minut pot fi aplicate ca 1.000 de cereri/secundă). Trimiterea de rafale scurte de cereri sau contexte (solicitări+max_completion_tokens) care sunt prea lungi poate duce la erori de limită de rată, chiar și atunci când, din punct de vedere tehnic, sunteți sub limita pe minut.

Cele mai bune practici pentru prevenirea erorilor de limită de rată

Organizație implicită

Dacă aparțineți mai multor organizații cu planuri de facturare și niveluri de utilizare diferite, asigurați-vă că organizația implicită este setată la organizația potrivită pentru a controla ce organizație este folosită implicit când faceți cereri cu cheile dvs. API.

Backoff exponențial

Includeți logică de backoff exponențial în codul dvs. Aceasta va intercepta și reîncerca cererile eșuate.

Limite de tokeni

Reduceți max_completion_tokens pentru a se potrivi cu dimensiunea completărilor dvs. Nevoile de utilizare sunt estimate din această valoare, astfel că reducerea ei va micșora șansa de a primi pe neașteptate o eroare de limită de rată. De exemplu, dacă solicitarea dvs. generează completări de aproximativ 400 de tokeni, valoarea max_tokens ar trebui să fie cam de aceeași dimensiune.

Optimizați-vă solicitările. Puteți face acest lucru scurtând instrucțiunile, eliminând cuvintele suplimentare și renunțând la exemplele în plus. S-ar putea să fie nevoie să lucrați la solicitarea dvs. și să o testați după aceste modificări pentru a vă asigura că funcționează în continuare bine. Beneficiul suplimentar al unei solicitări mai scurte este costul redus pentru dvs. Dacă aveți nevoie de ajutor, spuneți-ne.

Nivel de utilizare

Dacă ați implementat aceste bune practici, dar încă vă confruntați cu erori de limită de rată, vă puteți crește limitele de rată prin creșterea nivelului de utilizare. Puteți vedea limitele dvs. actuale de rată, nivelul dvs. actual de utilizare și cum să vă creșteți nivelul/limitele de utilizare în secțiunea Limite din setările contului.

Lecturi suplimentare

Consultați documentația noastră completă despre nivelurile de utilizare și limitele de rată aici.