Ratenlimit-Fehler („Zu viele Anfragen“, „Ratenlimit erreicht“) werden dadurch verursacht, dass das Ratenlimit Ihrer Organisation erreicht wurde. Es ist die maximale Anzahl an Anfragen und Token, die pro Minute übermittelt werden können. Wenn das Limit erreicht ist, kann die Organisation Anfragen erst wieder erfolgreich übermitteln, wenn das Ratenlimit zurückgesetzt wurde. Die Fehlermeldung sieht so aus:
Ratenlimit für gpt-3.5-turbo in der Organisation org-exampleorgid123 bei Token pro Minute erreicht.
Limit: 10000.000000 / min. Aktuell: 10020.000000 / min. Wir empfehlen, diese Fehler mit exponentiellem Backoff zu behandeln. Exponentieller Backoff bedeutet, bei einem Ratenlimit-Fehler kurz zu warten und dann die erfolglose Anfrage erneut zu senden. Falls die Anfrage weiterhin nicht erfolgreich ist, wird die Wartezeit erhöht und der Vorgang wiederholt. Dies wird fortgesetzt, bis die Anfrage erfolgreich ist oder eine maximale Anzahl an Wiederholungen erreicht wurde.
Da erfolglose Anfragen zu Ihrem Minutenlimit beitragen, funktioniert das ständige erneute Senden einer Anfrage nicht. Ratenlimits können auch über kürzere Zeiträume gelten – zum Beispiel 1 Anfrage pro Sekunde bei einem Limit von 60 RPM. Das bedeutet, dass auch kurze Anfragespitzen mit hohem Volumen zu Ratenlimit-Fehlern führen können. Exponentieller Backoff funktioniert gut, weil Anfragen zeitlich verteilt werden und so die Häufigkeit dieser Fehler minimiert wird.
In Python könnte eine Lösung mit exponentiellem Backoff so aussehen:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Bitte beachten Sie: Die Bibliothek backoff ist ein Drittanbieter-Tool. Wir empfehlen allen unseren Kund:innen, externen Code für ihre Projekte sorgfältig zu prüfen.)
Wenn die Implementierung von exponentiellem Backoff weiterhin zu diesem Fehler führt, müssen Sie möglicherweise Ihre Nutzungsstufe erhöhen. Ihre aktuellen Ratenlimits und Informationen dazu, wie Sie Ihre Vertrauensstufe erhöhen können, um Ihre Ratenlimits zu steigern, finden Sie im Abschnitt „Limits“ Ihrer Kontoeinstellungen.