Els errors de límit de peticions («Massa sol·licituds», «S’ha assolit el límit de peticions») es produeixen quan s’arriba al límit de peticions de la teva organització, que és el nombre màxim de peticions i segments que es poden enviar per minut. Si s’arriba al límit, l’organització no pot enviar peticions correctament fins que es restableixi el límit de peticions. El missatge d’error té aquest aspecte:
S'ha assolit el límit de velocitat per a gpt-3.5-turbo a l'organització org-exampleorgid123 en segments per min.
Límit: 10000.000000 / min. Actual: 10020.000000 / min. Recomanem gestionar aquests errors amb espera exponencial. L’espera exponencial consisteix a fer una pausa curta quan es produeix un error de límit de peticions i, després, tornar a provar la petició que no ha funcionat. Si la petició continua sense funcionar, s’augmenta la durada de la pausa i es repeteix el procés. Això continua fins que la petició funciona correctament o fins que s’arriba a un nombre màxim de reintents.
Com que les peticions no reeixides compten per al teu límit per minut, reenviar una petició contínuament no funcionarà. Els límits de peticions es poden aplicar en períodes més curts; per exemple, 1 petició per segon per a un límit de 60 RPM, cosa que vol dir que les ràfegues curtes de moltes peticions també poden provocar errors de límit de peticions. L’espera exponencial funciona bé perquè espacia les peticions per minimitzar la freqüència d’aquests errors.
En Python, una solució d’espera exponencial podria tenir aquest aspecte:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Tingues en compte que la biblioteca backoff és una eina de tercers. Animem tots els nostres clients a fer les comprovacions necessàries a l’hora de validar qualsevol codi extern per als seus projectes.)
Si implementar l’espera exponencial continua produint aquest error, pot ser que hagis d’augmentar el teu nivell d’ús. Pots consultar els teus límits de peticions actuals i com augmentar el teu nivell de confiança per incrementar-los a la secció de límits de la configuració del teu compte.