Os erros de limite de taxa («Demasiados pedidos», «Limite de taxa atingido») são causados por atingir o limite de taxa da sua organização, que é o número máximo de pedidos e tokens que podem ser submetidos por minuto. Se o limite for atingido, a organização não consegue submeter pedidos com êxito até o limite de taxa ser reposto. A mensagem de erro tem este aspeto:
Limite de taxa atingido para gpt-3.5-turbo na organização org-exampleorgid123 em tokens por min.
Limite: 10000.000000 / min. Atual: 10020.000000 / min. Recomendamos tratar estes erros com backoff exponencial. Backoff exponencial significa fazer uma breve pausa quando ocorre um erro de limite de taxa e, em seguida, repetir o pedido sem êxito. Se o pedido continuar sem êxito, a duração da pausa é aumentada e o processo é repetido. Isto continua até o pedido ser bem-sucedido ou até ser atingido um número máximo de tentativas.
Como os pedidos sem êxito contam para o seu limite por minuto, reenviar continuamente um pedido não funcionará. Os limites de taxa podem ser aplicados em períodos mais curtos — por exemplo, 1 pedido por segundo para um limite de 60 RPM —, o que significa que picos breves de pedidos em grande volume também podem causar erros de limite de taxa. O backoff exponencial funciona bem ao espaçar os pedidos para minimizar a frequência destes erros.
Em Python, uma solução de backoff exponencial poderia ter este aspeto:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Tenha em atenção: a biblioteca backoff é uma ferramenta de terceiros. Incentivamos todos os nossos clientes a fazerem a devida diligência ao validar qualquer código externo para os seus projetos.)
Se a implementação do backoff exponencial continuar a resultar neste erro, poderá ter de aumentar o seu escalão de utilização. Pode ver os seus limites de taxa atuais e como aumentar o seu escalão de confiança para aumentar os limites de taxa na secção de limites das definições da sua conta.