Erros de limite de taxa ('Muitas solicitações', “Limite de taxa atingido”) são causados quando o limite de taxa da sua organização é atingido, ou seja, o número máximo de solicitações e tokens que podem ser enviados por minuto. Se o limite for atingido, a organização não poderá enviar solicitações com sucesso até que o limite de taxa seja redefinido. A mensagem de erro é assim:
Limite de taxa atingido para gpt-3.5-turbo na organização org-exampleorgid123 em tokens por min.
Limite: 10000.000000 / min. Atual: 10020.000000 / min. Recomendamos lidar com esses erros usando recuo exponencial. Recuo exponencial significa fazer uma breve pausa quando ocorre um erro de limite de taxa e, em seguida, tentar novamente a solicitação que falhou. Se a solicitação ainda não for bem-sucedida, o tempo de pausa será aumentado e o processo será repetido. Isso continua até que a solicitação seja bem-sucedida ou até que um número máximo de novas tentativas seja atingido.
Como solicitações malsucedidas contam para o seu limite por minuto, reenviar uma solicitação continuamente não funcionará. Limites de taxa podem ser aplicados em períodos mais curtos — por exemplo, 1 solicitação por segundo para um limite de 60 RPM —, o que significa que picos curtos de solicitações em alto volume também podem levar a erros de limite de taxa. O recuo exponencial funciona bem ao espaçar as solicitações para minimizar a frequência desses erros.
Em Python, uma solução de recuo exponencial poderia ser assim:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Observação: a biblioteca backoff é uma ferramenta de terceiros. Incentivamos todos os nossos clientes a fazer a devida diligência ao validar qualquer código externo para seus projetos.)
Se a implementação do recuo exponencial ainda resultar nesse erro, talvez seja necessário aumentar seu nível de uso. Você pode ver seus limites de taxa atuais e como aumentar seu nível de confiança para ampliar seus limites de taxa na seção de limites das configurações da sua conta.