Introducción a los límites de tasa
Los límites de tasa son restricciones que nuestra API impone sobre la cantidad de veces que un usuario o cliente puede acceder a nuestros servicios dentro de un periodo de tiempo específico.
Los límites de tasa pueden estar cuantizados, lo que significa que se aplican en periodos de tiempo más cortos (p. ej., 60,000 solicitudes/minuto puede aplicarse como 1,000 solicitudes/segundo). Enviar ráfagas cortas de solicitudes o contextos (prompts+max_completion_tokens) demasiado largos puede generar errores de límite de tasa, incluso cuando técnicamente estás por debajo del límite por minuto.
Mejores prácticas para evitar errores de límite de tasa
Organización predeterminada
Si perteneces a varias organizaciones con distintos planes de facturación y niveles de uso, asegúrate de que tu organización predeterminada esté configurada en la organización adecuada para controlar qué organización se usa de forma predeterminada al hacer solicitudes con tus claves de API.
Backoff exponencial
Incluye lógica de backoff exponencial en tu código. Esto capturará y reintentará las solicitudes fallidas.
Límites de tokens
Reduce max_completion_tokens para que coincida con el tamaño de tus completions. Las necesidades de uso se estiman a partir de este valor, por lo que reducirlo disminuirá la probabilidad de que recibas inesperadamente un error de límite de tasa. Por ejemplo, si tu prompt genera completions de alrededor de 400 tokens, el valor de max_tokens debería ser de un tamaño similar.
Optimiza tus prompts. Puedes hacerlo haciendo tus instrucciones más cortas, eliminando palabras innecesarias y quitando ejemplos adicionales. Puede que tengas que ajustar tu prompt y probarlo después de estos cambios para asegurarte de que aún funcione bien. El beneficio adicional de un prompt más corto es que reduce tu costo. Si necesitas ayuda, avísanos.
Nivel de uso
Si ya implementaste estas mejores prácticas pero sigues teniendo errores de límite de tasa, puedes aumentar tus límites de tasa subiendo tu nivel de uso. Puedes ver tus límites de tasa actuales, tu nivel de uso actual y cómo aumentar tu nivel de uso/límites en la sección Límites de la configuración de tu cuenta.
Lecturas adicionales
Revisa nuestra documentación completa sobre niveles de uso y límites de tasa aquí.