Les erreurs de limite de débit (« Trop de requêtes », « Limite de débit atteinte ») se produisent lorsque vous atteignez la limite de débit de votre organisation, soit le nombre maximal de requêtes et de tokens pouvant être soumis par minute. Si la limite est atteinte, l’organisation ne peut pas soumettre de requêtes avec succès tant que la limite de débit n’a pas été réinitialisée. Le message d’erreur ressemble à ceci :
Limite de débit atteinte pour gpt-3.5-turbo dans l’organisation org-exampleorgid123 pour les tokens par min.
Limite : 10000.000000 / min. Actuel : 10020.000000 / min. Nous recommandons de gérer ces erreurs au moyen d’un backoff exponentiel. Le backoff exponentiel consiste à faire une courte pause lorsqu’une erreur de limite de débit survient, puis à réessayer la requête qui a échoué. Si la requête échoue encore, la durée de la pause est augmentée et le processus est répété. Cela se poursuit jusqu’à ce que la requête réussisse ou jusqu’à ce qu’un nombre maximal de tentatives soit atteint.
Comme les requêtes infructueuses comptent dans votre limite par minute, renvoyer continuellement une requête ne fonctionnera pas. Les limites de débit peuvent s’appliquer sur de plus courtes périodes — par exemple, 1 requête par seconde pour une limite de 60 RPM —, ce qui signifie que de brèves rafales de requêtes à volume élevé peuvent aussi entraîner des erreurs de limite de débit. Le backoff exponentiel fonctionne bien en espaçant les requêtes afin de réduire la fréquence de ces erreurs.
En Python, une solution de backoff exponentiel pourrait ressembler à ceci :
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Veuillez noter que la bibliothèque backoff est un outil tiers. Nous encourageons tous nos clients à faire preuve de diligence raisonnable lorsqu’ils valident du code externe pour leurs projets.)
Si la mise en œuvre du backoff exponentiel entraîne toujours cette erreur, vous devrez peut-être augmenter votre niveau d’utilisation. Vous pouvez consulter vos limites de débit actuelles et voir comment augmenter votre niveau de confiance afin d’augmenter vos limites de débit dans la section des limites des paramètres de votre compte.