Les erreurs de limite de débit («'Trop de requêtes'», « limite de débit atteinte ») sont causées par le dépassement de la limite de débit de votre organisation, c’est-à-dire le nombre maximal de requêtes et de tokens pouvant être envoyés par minute. Si la limite est atteinte, l’organisation ne peut plus envoyer de requêtes avec succès tant que la limite de débit n’a pas été réinitialisée. Le message d’erreur ressemble à ceci :
Limite de débit atteinte pour gpt-3.5-turbo dans l’organisation org-exampleorgid123 sur les tokens par minute.
Limite : 10000.000000 / min. Actuel : 10020.000000 / min. Nous recommandons de gérer ces erreurs à l’aide d’un backoff exponentiel. Le backoff exponentiel consiste à attendre brièvement lorsqu’une erreur de limite de débit se produit, puis à réessayer la requête qui a échoué. Si la requête échoue encore, la durée d’attente augmente et le processus est répété. Cela continue jusqu’à ce que la requête réussisse ou qu’un nombre maximal de tentatives soit atteint.
Comme les requêtes ayant échoué comptent dans votre limite par minute, renvoyer continuellement une requête ne fonctionnera pas. Les limites de débit peuvent s’appliquer sur des périodes plus courtes — par exemple, 1 requête par seconde pour une limite de 60 RPM — ce qui signifie que de courtes rafales de requêtes à fort volume peuvent aussi entraîner des erreurs de limite de débit. Le backoff exponentiel fonctionne bien en espaçant les requêtes afin de réduire la fréquence de ces erreurs.
En Python, une solution de backoff exponentiel pourrait ressembler à ceci :
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Remarque : la bibliothèque backoff est un outil tiers. Nous encourageons tous nos clients à faire preuve de diligence raisonnable lorsqu’il s’agit de valider du code externe pour leurs projets.)
Si la mise en œuvre d’un backoff exponentiel entraîne toujours cette erreur, vous devrez peut-être augmenter votre niveau d’utilisation. Vous pouvez voir vos limites de débit actuelles et comment augmenter votre niveau de confiance pour accroître vos limites de débit dans la section Limites des paramètres de votre compte.