Les erreurs de limite de débit (« Too Many Requests », « Rate limit reached ») se produisent lorsque la limite de débit de votre organisation est atteinte ; il s’agit du nombre maximal de requêtes et de tokens pouvant être soumis par minute. Si la limite est atteinte, l’organisation ne peut plus soumettre de requêtes avec succès tant que la limite de débit n’est pas réinitialisée. Le message d’erreur se présente comme suit :
Limite de débit atteinte pour gpt-3.5-turbo dans l’organisation org-exampleorgid123 sur les tokens par minute.
Limite : 10000.000000 / min. Actuel : 10020.000000 / min. Nous recommandons de gérer ces erreurs avec un backoff exponentiel. Le backoff exponentiel consiste à effectuer une courte pause lorsqu’une erreur de limite de débit survient, puis à réessayer la requête qui a échoué. Si la requête échoue toujours, la durée de la pause est augmentée et le processus est répété. Cela continue jusqu’à ce que la requête réussisse ou qu’un nombre maximal de tentatives soit atteint.
Comme les requêtes infructueuses contribuent à votre limite par minute, renvoyer continuellement une requête ne fonctionnera pas. Les limites de débit peuvent s’appliquer sur des périodes plus courtes — par exemple, 1 requête par seconde pour une limite de 60 RPM — ce qui signifie que de courtes rafales de requêtes à volume élevé peuvent également entraîner des erreurs de limite de débit. Le backoff exponentiel fonctionne bien en espaçant les requêtes afin de réduire la fréquence de ces erreurs.
En Python, une solution de backoff exponentiel pourrait ressembler à ceci :
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Remarque : la bibliothèque backoff est un outil tiers. Nous encourageons tous nos clients à faire preuve de diligence raisonnable lorsqu’il s’agit de valider tout code externe pour leurs projets.)
Si la mise en œuvre du backoff exponentiel entraîne toujours cette erreur, vous devrez peut-être augmenter votre niveau d’utilisation. Vous pouvez consulter vos limites de débit actuelles et savoir comment augmenter votre niveau de confiance afin d’augmenter vos limites de débit dans la section des limites des paramètres de votre compte.