Los errores de límite de solicitudes (“Too Many Requests”, “Rate limit reached”) se producen al alcanzar el límite de solicitudes de tu organización, que es la cantidad máxima de solicitudes y tokens que se pueden enviar por minuto. Si se alcanza el límite, la organización no podrá enviar solicitudes correctamente hasta que se restablezca el límite de solicitudes. El mensaje de error se ve así:
Se alcanzó el límite de solicitudes para gpt-3.5-turbo en la organización org-exampleorgid123 en tokens por min.
Límite: 10 000,000000 / min. Actual: 10 020,000000 / min. Recomendamos manejar estos errores con retroceso exponencial. El retroceso exponencial consiste en hacer una breve pausa cuando se encuentra un error de límite de solicitudes y, luego, volver a intentar la solicitud fallida. Si la solicitud sigue fallando, se aumenta la duración de la pausa y se repite el proceso. Esto continúa hasta que la solicitud se realiza correctamente o hasta que se alcanza un número máximo de reintentos.
Como las solicitudes fallidas contribuyen a tu límite por minuto, reenviar una solicitud continuamente no funcionará. Los límites de solicitudes pueden aplicarse en periodos más cortos; por ejemplo, 1 solicitud por segundo para un límite de 60 RPM, lo que significa que las ráfagas breves de solicitudes de alto volumen también pueden generar errores de límite de solicitudes. El retroceso exponencial funciona bien porque espacia las solicitudes para minimizar la frecuencia de estos errores.
En Python, una solución de retroceso exponencial podría verse así:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ten en cuenta: la biblioteca backoff es una herramienta de terceros. Recomendamos a todos nuestros clientes hacer la debida diligencia al validar cualquier código externo para sus proyectos.)
Si implementar el retroceso exponencial sigue generando este error, es posible que tengas que aumentar tu nivel de uso. Puedes ver tus límites de solicitudes actuales y cómo aumentar tu nivel de confianza para incrementar tus límites de solicitudes en la sección de límites de la configuración de tu cuenta.