Os erros de limite de taxa ('Demasiados pedidos', ‘Limite de taxa atingido’) são causados por atingir o limite de taxa da sua organização, que é o número máximo de pedidos e tokens que podem ser enviados por minuto. Se o limite for atingido, a organização não poderá enviar pedidos com sucesso até que o limite de taxa seja reposto. A mensagem de erro tem este aspeto:
Limite de taxa atingido para gpt-3.5-turbo na organização org-exampleorgid123 em tokens por min.
Limite: 10000.000000 / min. Atual: 10020.000000 / min. Recomendamos tratar estes erros com recuo exponencial. Recuo exponencial significa fazer uma breve pausa quando ocorre um erro de limite de taxa e, em seguida, voltar a tentar o pedido sem sucesso. Se o pedido continuar sem sucesso, a duração da pausa é aumentada e o processo repete-se. Isto continua até o pedido ser bem-sucedido ou até se atingir um número máximo de novas tentativas.
Como os pedidos sem sucesso contam para o seu limite por minuto, reenviar continuamente um pedido não resultará. Os limites de taxa podem ser aplicados em períodos mais curtos — por exemplo, 1 pedido por segundo para um limite de 60 RPM — o que significa que picos curtos de pedidos em grande volume também podem causar erros de limite de taxa. O recuo exponencial funciona bem ao espaçar os pedidos para minimizar a frequência destes erros.
Em Python, uma solução de recuo exponencial poderia ser assim:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Note: a biblioteca backoff é uma ferramenta de terceiros. Encorajamos todos os nossos clientes a fazer a devida diligência ao validar qualquer código externo para os seus projetos.)
Se a implementação de recuo exponencial continuar a resultar neste erro, poderá ser necessário aumentar o seu escalão de utilização. Pode ver os seus limites de taxa atuais e como aumentar o seu nível de confiança para aumentar os seus limites de taxa na secção de limites das definições da sua conta.