Los errores de límite de solicitudes (“Too Many Requests”, “Rate limit reached”) se producen al alcanzar el límite de solicitudes de tu organización, que es la cantidad máxima de solicitudes y tokens que se pueden enviar por minuto. Si se alcanza el límite, la organización no puede enviar solicitudes correctamente hasta que se restablezca el límite de solicitudes. El mensaje de error se ve así:
Se alcanzó el límite de solicitudes para gpt-3.5-turbo en la organización org-exampleorgid123 en tokens por min.
Límite: 10 000,000000 / min. Actual: 10 020,000000 / min. Recomendamos manejar estos errores con retroceso exponencial. El retroceso exponencial consiste en hacer una pausa breve cuando se alcanza un error de límite de solicitudes y luego volver a intentar la solicitud fallida. Si la solicitud sigue sin tener éxito, se aumenta la duración de la pausa y se repite el proceso. Esto continúa hasta que la solicitud tenga éxito o hasta que se alcance un número máximo de reintentos.
Como las solicitudes fallidas contribuyen a tu límite por minuto, reenviar continuamente una solicitud no funcionará. Los límites de solicitudes pueden aplicarse en períodos más cortos; por ejemplo, 1 solicitud por segundo para un límite de 60 RPM, lo que significa que ráfagas cortas de solicitudes de alto volumen también pueden provocar errores de límite de solicitudes. El retroceso exponencial funciona bien porque espacia las solicitudes para minimizar la frecuencia de estos errores.
En Python, una solución de retroceso exponencial podría verse así:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ten en cuenta lo siguiente: la biblioteca backoff es una herramienta de terceros. Recomendamos a todos nuestros clientes que actúen con la debida diligencia al validar cualquier código externo para sus proyectos.)
Si implementar el retroceso exponencial sigue dando este error, quizá debas aumentar tu nivel de uso. Puedes ver tus límites de solicitudes actuales y cómo aumentar tu nivel de confianza para incrementar tus límites de solicitudes en la sección de límites de la configuración de tu cuenta.