Einführung in Ratenlimits

Ratenlimits sind Beschränkungen, die unsere API für die Anzahl der Zugriffe einer Nutzer:in oder eines Clients auf unsere Dienste innerhalb eines bestimmten Zeitraums festlegt.

Ratenlimits können quantisiert sein, d. h. sie werden über kürzere Zeiträume hinweg durchgesetzt (z. B. können 60.000 Anfragen/Minute als 1.000 Anfragen/Sekunde durchgesetzt werden). Das Senden kurzer Anfragespitzen oder zu langer Kontexte (Prompts+max_completion_tokens) kann zu Ratenlimit-Fehlern führen, selbst wenn Sie technisch unter dem Ratenlimit pro Minute liegen.

Best Practices zur Vermeidung von Ratenlimit-Fehlern

Standardorganisation

Wenn Sie mehreren Organisationen mit unterschiedlichen Abrechnungsplänen und Nutzungsstufen angehören, stellen Sie sicher, dass Ihre Standardorganisation auf die passende Organisation festgelegt ist, um zu steuern, welche Organisation standardmäßig verwendet wird, wenn Sie Anfragen mit Ihren API-Schlüsseln senden.

Exponentielles Backoff

Binden Sie exponentielle Backoff-Logik in Ihren Code ein. Dadurch werden fehlgeschlagene Anfragen abgefangen und erneut versucht.

Tokenlimits

Reduzieren Sie die max_completion_tokens, damit sie zur Größe Ihrer Completions passen. Der Nutzungsbedarf wird anhand dieses Werts geschätzt. Wenn Sie ihn reduzieren, sinkt daher die Wahrscheinlichkeit, dass Sie unerwartet einen Ratenlimit-Fehler erhalten. Wenn Ihr Prompt beispielsweise Completions mit etwa 400 Token erzeugt, sollte der Wert max_tokens ungefähr gleich groß sein.


Optimieren Sie Ihre Prompts. Das können Sie tun, indem Sie Ihre Anweisungen kürzer fassen, zusätzliche Wörter entfernen und überflüssige Beispiele streichen. Möglicherweise müssen Sie Ihren Prompt überarbeiten und ihn nach diesen Änderungen testen, um sicherzustellen, dass er weiterhin gut funktioniert. Der zusätzliche Vorteil eines kürzeren Prompts sind geringere Kosten für Sie. Wenn Sie Hilfe benötigen, lassen Sie es uns wissen.

Nutzungsstufe

Wenn Sie diese Best Practices umgesetzt haben, aber weiterhin Ratenlimit-Fehler auftreten, können Sie Ihre Ratenlimits erhöhen, indem Sie Ihre Nutzungsstufe erhöhen. Ihre aktuellen Ratenlimits, Ihre aktuelle Nutzungsstufe und Informationen dazu, wie Sie Ihre Nutzungsstufe/Limits erhöhen können, finden Sie im Bereich „Limits“ Ihrer Kontoeinstellungen.

Weiterführende Informationen

Lesen Sie unsere umfassende Dokumentation zu Nutzungsstufen und Ratenlimits hier.