Introduction aux limites de débit
Les limites de débit sont des restrictions que notre API impose au nombre de fois qu’un utilisateur ou un client peut accéder à nos services pendant une période donnée.
Les limites de débit peuvent être quantifiées, ce qui signifie qu’elles sont appliquées sur des périodes plus courtes (par ex., 60 000 requêtes/minute peuvent être appliquées sous forme de 1 000 requêtes/seconde). L’envoi de courtes rafales de requêtes ou de contextes (prompts+max_completion_tokens) trop longs peut entraîner des erreurs de limite de débit, même si vous êtes techniquement en dessous de la limite de débit par minute.
Bonnes pratiques pour éviter les erreurs de limite de débit
Organisation par défaut
Si vous appartenez à plusieurs organisations avec des forfaits de facturation et des niveaux d’utilisation différents, assurez-vous que votre organisation par défaut est définie sur l’organisation appropriée afin de contrôler celle utilisée par défaut lors de requêtes avec vos clés API.
Backoff exponentiel
Incluez une logique de backoff exponentiel dans votre code. Cela permettra d’intercepter les requêtes ayant échoué et de réessayer.
Limites de tokens
Réduisez le nombre de max_completion_tokens pour le faire correspondre à la taille de vos complétions. Les besoins d’utilisation sont estimés à partir de cette valeur ; la réduire diminuera donc le risque de recevoir de façon inattendue une erreur de limite de débit. Par exemple, si votre prompt crée des complétions d’environ 400 tokens, la valeur max_tokens doit être à peu près de la même taille.
Optimisez vos prompts. Vous pouvez le faire en raccourcissant vos instructions, en supprimant les mots superflus et en retirant les exemples inutiles. Vous devrez peut-être retravailler votre prompt et le tester après ces changements pour vous assurer qu’il fonctionne toujours bien. L’avantage supplémentaire d’un prompt plus court est une réduction de vos coûts. Si vous avez besoin d’aide, faites-le-nous savoir.
Niveau d’utilisation
Si vous avez appliqué ces bonnes pratiques mais rencontrez toujours des erreurs de limite de débit, vous pouvez augmenter vos limites de débit en augmentant votre niveau d’utilisation. Vous pouvez consulter vos limites de débit actuelles, votre niveau d’utilisation actuel et la façon d’augmenter votre niveau d’utilisation/vos limites dans la section Limites des paramètres de votre compte.
Pour aller plus loin
Consultez notre documentation complète sur les niveaux d’utilisation et les limites de débit ici.