Introducere în limitele de rată

Limitele de rată sunt restricții pe care API-ul nostru le impune asupra numărului de dăți în care un utilizator sau client poate accesa serviciile noastre într-o perioadă specificată.

Limitele de rată pot fi cuantificate, ceea ce înseamnă că sunt aplicate pe perioade de timp mai scurte (de ex., 60.000 de solicitări/minut pot fi aplicate ca 1.000 de solicitări/secundă). Trimiterea unor rafale scurte de solicitări sau a unor contexte (solicitări+max_completion_tokens) prea lungi poate duce la erori privind limita de rată, chiar și atunci când, tehnic, sunteți sub limita de rată pe minut.

Bune practici pentru prevenirea erorilor privind limita de rată

Organizație implicită

Dacă aparțineți mai multor organizații cu planuri de facturare și niveluri de utilizare diferite, asigurați-vă că organizația implicită este setată la organizația potrivită, pentru a controla ce organizație este folosită implicit când faceți solicitări cu cheile API.

Backoff exponențial

Includeți logica de backoff exponențial în cod. Aceasta va intercepta solicitările nereușite și le va reîncerca.

Limite de tokenuri

Reduceți max_completion_tokens pentru a corespunde dimensiunii completărilor. Nevoile de utilizare sunt estimate pe baza acestei valori, așa că reducerea ei va scădea șansa de a primi pe neașteptate o eroare privind limita de rată. De exemplu, dacă solicitarea creează completări de aproximativ 400 de tokenuri, valoarea max_tokens ar trebui să fie cam de aceeași dimensiune.


Optimizați solicitările. Puteți face acest lucru scurtând instrucțiunile, eliminând cuvintele suplimentare și renunțând la exemplele în plus. Este posibil să fie nevoie să lucrați la solicitare și să o testați după aceste modificări, pentru a vă asigura că funcționează în continuare bine. Beneficiul suplimentar al unei solicitări mai scurte este reducerea costurilor pentru dvs. Dacă aveți nevoie de ajutor, anunțați-ne.

Nivel de utilizare

Dacă ați implementat aceste bune practici, dar încă întâmpinați erori privind limita de rată, vă puteți mări limitele de rată prin creșterea nivelului de utilizare. Puteți vedea limitele de rată actuale, nivelul de utilizare actual și modul de creștere a nivelului de utilizare/limitelor în secțiunea Limite din setările contului.

Lecturi suplimentare

Consultați documentația noastră cuprinzătoare despre nivelurile de utilizare și limitele de rată aici.