Introduction aux limites de débit

Les limites de débit sont des restrictions que notre API impose au nombre de fois qu’un utilisateur ou un client peut accéder à nos services pendant une période donnée.

Les limites de débit peuvent être quantifiées, c’est-à-dire appliquées sur des périodes plus courtes (p. ex., 60 000 requêtes/minute peuvent être appliquées sous forme de 1 000 requêtes/seconde). L’envoi de courtes rafales de requêtes ou de contextes trop longs (invites + max_completion_tokens) peut entraîner des erreurs de limite de débit, même si vous êtes techniquement sous la limite de débit par minute.

Pratiques exemplaires pour prévenir les erreurs de limite de débit

Organisation par défaut

Si vous appartenez à plusieurs organisations ayant des forfaits de facturation et des paliers d’utilisation différents, assurez-vous que votre organisation par défaut est réglée sur l’organisation appropriée afin de contrôler quelle organisation est utilisée par défaut lors des requêtes avec vos clés API.

Temporisation exponentielle

Incluez une logique de temporisation exponentielle dans votre code. Cela permettra de détecter les requêtes échouées et de les réessayer.

Limites de tokens

Réduisez la valeur de max_completion_tokens afin qu’elle corresponde à la taille de vos complétions. Les besoins d’utilisation sont estimés à partir de cette valeur; la réduire diminuera donc la probabilité que vous receviez une erreur de limite de débit de façon inattendue. Par exemple, si votre invite crée des complétions d’environ 400 tokens, la valeur max_tokens devrait être d’une taille semblable.


Optimisez vos invites. Vous pouvez le faire en raccourcissant vos instructions, en supprimant les mots superflus et en retirant les exemples inutiles. Vous pourriez devoir retravailler votre invite et la tester après ces changements pour vous assurer qu’elle fonctionne encore bien. L’avantage supplémentaire d’une invite plus courte est une réduction de vos coûts. Si vous avez besoin d’aide, faites-le-nous savoir.

Palier d’utilisation

Si vous avez mis en œuvre ces pratiques exemplaires, mais que vous rencontrez toujours des erreurs de limite de débit, vous pouvez augmenter vos limites de débit en augmentant votre palier d’utilisation. Vous pouvez consulter vos limites de débit actuelles, votre palier d’utilisation actuel et la façon d’augmenter votre palier d’utilisation ou vos limites dans la section Limites des paramètres de votre compte.

Lectures complémentaires

Consultez notre documentation complète sur les paliers d’utilisation et les limites de débit ici.