Los errores de límite de solicitudes («Too Many Requests», «Rate limit reached») se producen al alcanzar el límite de solicitudes de tu organización, que es el número máximo de solicitudes y tokens que se pueden enviar por minuto. Si se alcanza el límite, la organización no puede enviar solicitudes correctamente hasta que se restablece el límite de solicitudes. El mensaje de error tiene este aspecto:
Límite de velocidad alcanzado para gpt-3.5-turbo en la organización org-exampleorgid123 en tokens por min.
Límite: 10000.000000 / min. Actual: 10020.000000 / min. Recomendamos gestionar estos errores mediante espera exponencial. La espera exponencial consiste en realizar una pausa breve cuando se produce un error de límite de solicitudes y, a continuación, reintentar la solicitud que no se ha completado correctamente. Si la solicitud sigue sin completarse correctamente, se aumenta la duración de la pausa y se repite el proceso. Esto continúa hasta que la solicitud se completa correctamente o hasta que se alcanza un número máximo de reintentos.
Como las solicitudes no completadas correctamente contribuyen a tu límite por minuto, reenviar una solicitud de forma continua no funcionará. Los límites de solicitudes pueden aplicarse en periodos más cortos; por ejemplo, 1 solicitud por segundo para un límite de 60 RPM. Esto significa que las ráfagas breves de solicitudes de gran volumen también pueden provocar errores de límite de solicitudes. La espera exponencial funciona bien al espaciar las solicitudes para minimizar la frecuencia de estos errores.
En Python, una solución de espera exponencial podría tener este aspecto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ten en cuenta: la biblioteca backoff es una herramienta de terceros. Animamos a todos nuestros clientes a actuar con la diligencia debida a la hora de validar cualquier código externo para sus proyectos.)
Si implementar la espera exponencial sigue dando lugar a este error, es posible que tengas que aumentar tu nivel de uso. Puedes ver tus límites de solicitudes actuales y cómo aumentar tu nivel de confianza para incrementar tus límites de solicitudes en la sección de límites de la configuración de tu cuenta.