Introduction aux limites de débit
Les limites de débit sont des restrictions que notre API impose au nombre de fois qu’un utilisateur ou un client peut accéder à nos services sur une période donnée.
Les limites de débit peuvent être quantifiées, c’est-à-dire appliquées sur des périodes plus courtes (p.ex.: 6000 requêtes/minute peuvent être appliquées comme 100 requêtes/seconde). L’envoi de courtes rafales de requêtes ou de contextes (prompts+max_completion_tokens) trop longs peut entraîner des erreurs de limite de débit, même si, techniquement, vous êtes en dessous de la limite par minute.
Bonnes pratiques pour éviter les erreurs de limite de débit
Organisation par défaut
Si vous appartenez à plusieurs organisations avec des forfaits de facturation et des paliers d’utilisation différents, assurez-vous que votre organisation par défaut est définie sur l’organisation appropriée afin de contrôler quelle organisation est utilisée par défaut lorsque vous faites des requêtes avec vos clés API.
Backoff exponentiel
Intégrez une logique de backoff exponentiel dans votre code. Cela permettra d’intercepter et de relancer les requêtes ayant échoué.
Limites de tokens
Réduisez max_completion_tokens pour l’aligner sur la taille de vos complétions. Les besoins d’usage sont estimés à partir de cette valeur; la réduire diminuera donc le risque de recevoir une erreur de limite de débit de façon inattendue. Par exemple, si votre prompt génère des complétions d’environ 400 tokens, la valeur max_tokens devrait être d’un ordre de grandeur similaire.
Optimisez vos prompts. Pour cela, raccourcissez vos instructions, supprimez les mots superflus et éliminez les exemples en trop. Vous devrez peut-être retravailler votre prompt et le tester après ces changements pour vous assurer qu’il fonctionne toujours bien. Autre avantage d’un prompt plus court: un coût réduit pour vous. Si vous avez besoin d’aide, faites-le nous savoir.
Palier d’utilisation
Si vous avez mis en œuvre ces bonnes pratiques mais que vous rencontrez toujours des erreurs de limite de débit, vous pouvez augmenter vos limites de débit en augmentant votre palier d’utilisation. Vous pouvez consulter vos limites de débit actuelles, votre palier d’utilisation actuel et la manière d’augmenter votre palier d’utilisation/limites dans la section Limits des paramètres de votre compte.
Pour aller plus loin
Consultez notre documentation complète sur les paliers d’utilisation et les limites de débit ici.