Erorile de limită de rată („Prea multe solicitări”, „Limita de rată a fost atinsă”) apar atunci când se atinge limita de rată a organizației tale, adică numărul maxim de solicitări și tokenuri care pot fi trimise pe minut. Dacă limita este atinsă, organizația nu poate trimite cu succes solicitări până când limita de rată nu este resetată. Mesajul de eroare arată astfel:
Limita de rată a fost atinsă pentru gpt-3.5-turbo în organizația org-exampleorgid123 la tokeni pe minut.
Limită: 10000.000000 / min. Curent: 10020.000000 / min. Recomandăm gestionarea acestor erori folosind backoff exponențial. Backofful exponențial înseamnă introducerea unei scurte pauze atunci când apare o eroare de limită de rată, apoi reîncercarea solicitării nereușite. Dacă solicitarea este în continuare nereușită, durata pauzei este mărită, iar procesul se repetă. Acest lucru continuă până când solicitarea reușește sau până când se atinge un număr maxim de reîncercări.
Deoarece solicitările nereușite contribuie la limita ta pe minut, retrimiterea continuă a unei solicitări nu va funcționa. Limitele de rată pot fi aplicate pe perioade mai scurte - de exemplu, 1 solicitare pe secundă pentru o limită de 60 RPM - ceea ce înseamnă că și rafalele scurte de solicitări cu volum mare pot duce la erori de limită de rată. Backofful exponențial funcționează bine prin distanțarea solicitărilor, pentru a minimiza frecvența acestor erori.
În Python, o soluție de backoff exponențial ar putea arăta astfel:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Reține: biblioteca backoff este un instrument terț. Îi încurajăm pe toți clienții noștri să facă verificările necesare atunci când validează orice cod extern pentru proiectele lor.)
Dacă, după implementarea backoffului exponențial, această eroare apare în continuare, poate fi necesar să mărești nivelul de utilizare. Poți vedea limitele de rată actuale și cum să-ți mărești nivelul de încredere pentru a-ți crește limitele de rată în secțiunea de limite din setările contului.