Eine Einführung in Rate Limits

Rate Limits sind Einschränkungen, die unsere API für die Anzahl der Zugriffe festlegt, mit der ein Nutzer oder Client innerhalb eines bestimmten Zeitraums auf unsere Dienste zugreifen kann.

Rate Limits können quantisiert sein, d. h. sie werden über kürzere Zeiträume hinweg durchgesetzt (z. B. können 60.000 Anfragen/Minute als 1.000 Anfragen/Sekunde durchgesetzt werden). Das Senden kurzer Anfrage-Bursts oder zu langer Kontexte (Prompts+max_completion_tokens) kann zu Rate-Limit-Fehlern führen, selbst wenn Sie technisch gesehen unter dem Rate Limit pro Minute liegen.

Best Practices zur Vermeidung von Rate-Limit-Fehlern

Standard-Organisation

Wenn Sie zu mehreren Orgs mit unterschiedlichen Abrechnungsplänen und Nutzungsklassen gehören, stellen Sie sicher, dass Ihre Standardorganisation auf die passende Org gesetzt ist, um zu steuern, welche Organisation standardmäßig verwendet wird, wenn Sie mit Ihren API-Schlüsseln Anfragen stellen.

Exponential Backoff

Integrieren Sie in Ihrem Code eine Exponential-Backoff-Logik. Damit werden fehlgeschlagene Anfragen abgefangen und erneut versucht.

Token-Limits

Reduzieren Sie max_completion_tokens so, dass es zur Größe Ihrer Completions passt. Der Bedarf wird anhand dieses Werts geschätzt; eine Reduzierung verringert also die Wahrscheinlichkeit, dass Sie unerwartet einen Rate-Limit-Fehler erhalten. Wenn Ihr Prompt beispielsweise Completions von rund 400 Token erzeugt, sollte der Wert max_tokens ungefähr in derselben Größenordnung liegen.

Optimieren Sie Ihre Prompts. Das können Sie tun, indem Sie Ihre Anweisungen kürzer machen, überflüssige Wörter entfernen und zusätzliche Beispiele weglassen. Möglicherweise müssen Sie an Ihrem Prompt arbeiten und ihn nach diesen Änderungen testen, um sicherzustellen, dass er weiterhin gut funktioniert. Ein zusätzlicher Vorteil eines kürzeren Prompts sind geringere Kosten für Sie. Wenn Sie Hilfe brauchen, sagen Sie uns Bescheid.

Nutzungsklasse

Wenn Sie diese Best Practices umgesetzt haben, aber weiterhin Rate-Limit-Fehler auftreten, können Sie Ihre Rate Limits erhöhen, indem Sie Ihre Nutzungsklasse erhöhen. Ihre aktuellen Rate Limits, Ihre aktuelle Nutzungsklasse sowie Informationen dazu, wie Sie Ihre Nutzungsklasse/Limits erhöhen können, finden Sie im Bereich Limits in den Einstellungen Ihres Kontos.

Weiterführende Informationen

Sehen Sie sich hier unsere umfassende Dokumentation zu Nutzungsklassen und Rate Limits an.