Introducción a los límites de velocidad
Los límites de velocidad son restricciones que nuestra API impone sobre el número de veces que un usuario o cliente puede acceder a nuestros servicios dentro de un período de tiempo determinado.
Los límites de velocidad pueden cuantizarse, lo que significa que se aplican durante períodos de tiempo más cortos (p. ej., 60.000 solicitudes/minuto pueden aplicarse como 1.000 solicitudes/segundo). Enviar ráfagas cortas de solicitudes o contextos (prompts+max_completion_tokens) demasiado largos puede provocar errores de límite de velocidad, incluso cuando técnicamente estás por debajo del límite por minuto.
Mejores prácticas para evitar errores de límite de velocidad
Organización predeterminada
Si perteneces a varias organizaciones con distintos planes de facturación y niveles de uso, asegúrate de que tu organización predeterminada esté configurada como la organización adecuada para controlar qué organización se usa por defecto al realizar solicitudes con tus claves de API.
Retroceso exponencial
Incluye lógica de retroceso exponencial en tu código. Esto capturará y reintentará las solicitudes fallidas.
Límites de tokens
Reduce max_completion_tokens para que coincida con el tamaño de tus completions. Las necesidades de uso se estiman a partir de este valor, por lo que reducirlo disminuirá la probabilidad de que recibas inesperadamente un error de límite de velocidad. Por ejemplo, si tu prompt crea completions de unos 400 tokens, el valor de max_tokens debería ser de un tamaño similar.
Optimiza tus prompts. Puedes hacerlo acortando tus instrucciones, eliminando palabras adicionales y quitando ejemplos extra. Puede que necesites trabajar en tu prompt y probarlo después de estos cambios para asegurarte de que sigue funcionando bien. El beneficio añadido de un prompt más corto es un menor coste para ti. Si necesitas ayuda, dínoslo.
Nivel de uso
Si has aplicado estas mejores prácticas pero sigues teniendo errores de límite de velocidad, puedes aumentar tus límites de velocidad aumentando tu nivel de uso. Puedes ver tus límites de velocidad actuales, tu nivel de uso actual y cómo aumentar tu nivel/límites de uso en la sección Límites de la configuración de tu cuenta.
Más información
Consulta aquí nuestra documentación completa sobre niveles de uso y límites de velocidad aquí.