Introduzione ai limiti di richieste
I limiti di richieste sono restrizioni che la nostra API impone al numero di volte in cui un utente o un client può accedere ai nostri servizi in un determinato periodo di tempo.
I limiti di richieste possono essere quantizzati, cioè applicati su periodi di tempo più brevi (ad es. 60.000 richieste/minuto possono essere applicate come 1.000 richieste/secondo). L'invio di brevi raffiche di richieste o contesti (prompt+max_completion_tokens) troppo lunghi può causare errori di limite di richieste, anche quando tecnicamente sei al di sotto del limite di richieste al minuto.
Procedure consigliate per prevenire errori di limite di richieste
Organizzazione predefinita
Se appartieni a più organizzazioni con piani di fatturazione e livelli di utilizzo diversi, assicurati che la tua organizzazione predefinita sia impostata sull'organizzazione appropriata per controllare quale organizzazione viene usata per impostazione predefinita quando effettui richieste con le tue chiavi API.
Backoff esponenziale
Includi la logica di backoff esponenziale nel tuo codice. In questo modo le richieste non riuscite verranno intercettate e ritentate.
Limiti di token
Riduci max_completion_tokens in modo che corrisponda alla dimensione dei tuoi completamenti. Le esigenze di utilizzo vengono stimate a partire da questo valore, quindi ridurlo diminuirà la probabilità di ricevere inaspettatamente un errore di limite di richieste. Ad esempio, se il tuo prompt crea completamenti di circa 400 token, il valore max_tokens dovrebbe avere una dimensione simile.
Ottimizza i tuoi prompt. Puoi farlo rendendo le istruzioni più brevi, eliminando le parole superflue e rimuovendo gli esempi extra. Potrebbe essere necessario lavorare sul tuo prompt e testarlo dopo queste modifiche per assicurarti che funzioni ancora bene. Un ulteriore vantaggio di un prompt più breve è la riduzione dei costi per te. Se hai bisogno di aiuto, faccelo sapere.
Livello di utilizzo
Se hai implementato queste procedure consigliate ma riscontri ancora errori di limite di richieste, puoi aumentare i tuoi limiti di richieste aumentando il tuo livello di utilizzo. Puoi visualizzare i tuoi limiti di richieste attuali, il tuo livello di utilizzo attuale e come aumentare il tuo livello di utilizzo/i tuoi limiti nella sezione Limiti delle impostazioni dell'account.
Approfondimenti
Consulta la nostra documentazione completa sui livelli di utilizzo e sui limiti di richieste qui.