Erros de limite de taxa ('Muitas solicitações', ‘Limite de taxa atingido’) são causados por atingir o limite de taxa da sua organização, que é o número máximo de solicitações e tokens que podem ser enviados por minuto. Se o limite for atingido, a organização não poderá enviar solicitações com sucesso até que o limite de taxa seja redefinido. A mensagem de erro se parece com esta:
Limite de taxa atingido para gpt-3.5-turbo na organização org-exampleorgid123 em tokens por min.
Limite: 10000.000000 / min. Atual: 10020.000000 / min. Recomendamos tratar esses erros usando backoff exponencial. Backoff exponencial significa fazer uma breve pausa quando ocorre um erro de limite de taxa e, em seguida, tentar novamente a solicitação sem sucesso. Se a solicitação ainda não for bem-sucedida, a duração da pausa será aumentada e o processo será repetido. Isso continua até que a solicitação seja bem-sucedida ou até que um número máximo de tentativas seja atingido.
Como solicitações sem sucesso contribuem para seu limite por minuto, reenviar continuamente uma solicitação não funcionará. Limites de taxa podem ser aplicados em períodos mais curtos — por exemplo, 1 solicitação por segundo para um limite de 60 RPM — o que significa que picos curtos de solicitações em alto volume também podem levar a erros de limite de taxa. O backoff exponencial funciona bem ao espaçar as solicitações para minimizar a frequência desses erros.
Em Python, uma solução de backoff exponencial poderia ser assim:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Observação: a biblioteca backoff é uma ferramenta de terceiros. Incentivamos todos os nossos clientes a fazer a devida diligência ao validar qualquer código externo para seus projetos.)
Se a implementação de backoff exponencial ainda resultar nesse erro, talvez você precise aumentar seu nível de uso. Você pode ver seus limites de taxa atuais e como aumentar seu nível de confiança para aumentar seus limites de taxa na seção de limites das configurações da sua conta.