Gli errori di limite di richieste («Troppe richieste», «Limite di richieste raggiunto») sono causati dal raggiungimento del limite di richieste della tua organizzazione, ovvero il numero massimo di richieste e token che possono essere inviati al minuto. Se il limite viene raggiunto, l’organizzazione non può inviare richieste con esito positivo finché il limite di richieste non viene reimpostato. Il messaggio di errore si presenta così:
Limite di richieste raggiunto per gpt-3.5-turbo nell'organizzazione org-exampleorgid123 per i token al minuto.
Limite: 10000.000000 / min. Attuale: 10020.000000 / min. Consigliamo di gestire questi errori usando il backoff esponenziale. Il backoff esponenziale consiste nell’attendere brevemente quando si verifica un errore di limite di richieste, quindi riprovare la richiesta non riuscita. Se la richiesta non va ancora a buon fine, la durata dell’attesa viene aumentata e il processo viene ripetuto. Questo continua finché la richiesta non riesce o finché non viene raggiunto un numero massimo di tentativi.
Poiché le richieste non riuscite contribuiscono al tuo limite al minuto, reinviare continuamente una richiesta non funzionerà. I limiti di richieste possono essere applicati su periodi più brevi, ad esempio 1 richiesta al secondo per un limite di 60 RPM, il che significa che anche brevi picchi di richieste ad alto volume possono causare errori di limite di richieste. Il backoff esponenziale funziona bene distanziando le richieste per ridurre al minimo la frequenza di questi errori.
In Python, una soluzione di backoff esponenziale potrebbe essere simile a questa:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Nota: la libreria backoff è uno strumento di terze parti. Invitiamo tutti i nostri clienti a svolgere le dovute verifiche quando si tratta di convalidare qualsiasi codice esterno per i loro progetti.)
Se l’implementazione del backoff esponenziale continua a generare questo errore, potresti dover aumentare il tuo livello di utilizzo. Puoi visualizzare i tuoi limiti di richieste attuali e scoprire come aumentare il tuo livello di attendibilità per incrementare i limiti di richieste nella sezione dei limiti delle impostazioni del tuo account.