Introducción a los límites de solicitudes
Los límites de solicitudes son restricciones que nuestra API impone al número de veces que un usuario o cliente puede acceder a nuestros servicios en un periodo de tiempo determinado.
Los límites de solicitudes pueden cuantizarse, lo que significa que se aplican en periodos de tiempo más cortos (p. ej., 60 000 solicitudes/minuto pueden aplicarse como 1000 solicitudes/segundo). Enviar ráfagas breves de solicitudes o contextos (prompts+max_completion_tokens) demasiado largos puede provocar errores de límite de solicitudes, aunque técnicamente estés por debajo del límite de solicitudes por minuto.
Prácticas recomendadas para evitar errores de límite de solicitudes
Organización predeterminada
Si perteneces a varias organizaciones con distintos planes de facturación y niveles de uso, asegúrate de que tu organización predeterminada esté configurada como la organización adecuada para controlar qué organización se usa de forma predeterminada al hacer solicitudes con tus claves de API.
Retroceso exponencial
Incluye lógica de retroceso exponencial en tu código. Esto detectará las solicitudes fallidas y las reintentará.
Límites de tokens
Reduce el valor de max_completion_tokens para que coincida con el tamaño de tus completions. Las necesidades de uso se estiman a partir de este valor, por lo que reducirlo disminuirá la probabilidad de que recibas inesperadamente un error de límite de solicitudes. Por ejemplo, si tu prompt crea completions de unos 400 tokens, el valor de max_tokens debería tener aproximadamente el mismo tamaño.
Optimiza tus prompts. Puedes hacerlo acortando tus instrucciones, eliminando palabras innecesarias y quitando ejemplos de más. Puede que tengas que trabajar en tu prompt y probarlo después de estos cambios para asegurarte de que sigue funcionando bien. La ventaja añadida de un prompt más corto es que reduce tus costes. Si necesitas ayuda, avísanos.
Nivel de uso
Si has implementado estas prácticas recomendadas pero sigues teniendo errores de límite de solicitudes, puedes aumentar tus límites de solicitudes subiendo tu nivel de uso. Puedes ver tus límites de solicitudes actuales, tu nivel de uso actual y cómo subir tu nivel de uso o tus límites en la sección Límites de la configuración de tu cuenta.
Más información
Consulta nuestra documentación completa sobre niveles de uso y límites de solicitudes aquí.