Erorile de limită de rată („Too Many Requests”, „Rate limit reached”) sunt cauzate de atingerea limitei de rată a organizației dvs., adică numărul maxim de solicitări și tokeni care pot fi trimise pe minut. Dacă limita este atinsă, organizația nu poate trimite cu succes solicitări până când limita de rată nu este resetată. Mesajul de eroare arată astfel:
Limita de rată a fost atinsă pentru gpt-3.5-turbo în organizația org-exampleorgid123 la tokeni pe minut.
Limită: 10000.000000 / min. Curent: 10020.000000 / min. Recomandăm gestionarea acestor erori folosind backoff exponențial. Backoff-ul exponențial înseamnă o scurtă pauză atunci când este atinsă o eroare de limită de rată, apoi reîncercarea solicitării nereușite. Dacă solicitarea tot nu reușește, durata pauzei este mărită și procesul se repetă. Acest lucru continuă până când solicitarea reușește sau până când se atinge un număr maxim de reîncercări.
Deoarece solicitările nereușite contribuie la limita dvs. pe minut, retrimiterea continuă a unei solicitări nu va funcționa. Limitele de rată se pot aplica pe perioade mai scurte — de exemplu, 1 solicitare pe secundă pentru o limită de 60 RPM — ceea ce înseamnă că și rafalele scurte de solicitări cu volum mare pot duce la erori de limită de rată. Backoff-ul exponențial funcționează bine prin spațierea solicitărilor pentru a reduce la minimum frecvența acestor erori.
În Python, o soluție de backoff exponențial ar putea arăta astfel:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Rețineți: biblioteca backoff este un instrument terț. Îi încurajăm pe toți clienții noștri să facă verificările necesare atunci când validează orice cod extern pentru proiectele lor.)
Dacă implementarea backoff-ului exponențial duce în continuare la această eroare, este posibil să fie nevoie să vă creșteți nivelul de utilizare. Puteți vedea limitele dvs. actuale de rată și cum să vă creșteți nivelul de încredere pentru a mări limitele de rată în secțiunea de limite din setările contului dvs.