Introducción a los límites de solicitudes
Los límites de solicitudes son restricciones que nuestra API impone sobre la cantidad de veces que un usuario o cliente puede acceder a nuestros servicios dentro de un periodo específico.
Los límites de solicitudes pueden cuantizarse, lo que significa que se aplican en periodos más cortos (p. ej., 60 000 solicitudes/minuto pueden aplicarse como 1000 solicitudes/segundo). Enviar ráfagas cortas de solicitudes o contextos (prompts+max_completion_tokens) demasiado largos puede generar errores de límite de solicitudes, incluso cuando técnicamente estás por debajo del límite de solicitudes por minuto.
Prácticas recomendadas para evitar errores de límite de solicitudes
Organización predeterminada
Si perteneces a varias organizaciones con distintos planes de facturación y niveles de uso, asegúrate de que tu organización predeterminada esté configurada como la organización adecuada para controlar qué organización se usa de forma predeterminada al hacer solicitudes con tus claves de API.
Retroceso exponencial
Incluye lógica de retroceso exponencial en tu código. Esto detectará las solicitudes con error y las reintentará.
Límites de tokens
Reduce max_completion_tokens para que coincida con el tamaño de tus completions. Las necesidades de uso se estiman a partir de este valor, por lo que reducirlo disminuirá la probabilidad de que recibas inesperadamente un error de límite de solicitudes. Por ejemplo, si tu prompt crea completions de alrededor de 400 tokens, el valor de max_tokens debe tener un tamaño similar.
Optimiza tus prompts. Puedes hacerlo acortando tus instrucciones, quitando palabras innecesarias y eliminando ejemplos adicionales. Quizás debas trabajar en tu prompt y probarlo después de estos cambios para asegurarte de que siga funcionando bien. El beneficio adicional de un prompt más corto es un menor costo para ti. Si necesitas ayuda, avísanos.
Nivel de uso
Si implementaste estas prácticas recomendadas, pero sigues recibiendo errores de límite de solicitudes, puedes aumentar tus límites de solicitudes aumentando tu nivel de uso. Puedes ver tus límites de solicitudes actuales, tu nivel de uso actual y cómo aumentar tu nivel de uso o tus límites en la sección Límites de la configuración de tu cuenta.
Lecturas adicionales
Revisa nuestra documentación completa sobre niveles de uso y límites de solicitudes aquí.