Uma introdução aos limites de taxa
Os limites de taxa são restrições que a nossa API impõe ao número de vezes que um utilizador ou cliente pode aceder aos nossos serviços num período de tempo especificado.
Os limites de taxa podem ser quantizados, o que significa que são aplicados em períodos de tempo mais curtos (por exemplo, 60 000 pedidos/minuto podem ser aplicados como 1 000 pedidos/segundo). Enviar pequenas rajadas de pedidos ou contextos (prompts+max_completion_tokens) demasiado longos pode levar a erros de limite de taxa, mesmo quando, tecnicamente, está abaixo do limite de taxa por minuto.
Boas práticas para prevenir erros de limite de taxa
Organização predefinida
Se pertence a várias organizações com diferentes planos de faturação e escalões de utilização, certifique-se de que a sua organização predefinida está definida para a organização adequada, de modo a controlar que organização é utilizada por predefinição ao fazer pedidos com as suas chaves de API.
Recuo exponencial
Inclua lógica de recuo exponencial no seu código. Isto irá detetar e tentar novamente os pedidos falhados.
Limites de tokens
Reduza os max_completion_tokens para corresponderem ao tamanho das suas conclusões. As necessidades de utilização são estimadas a partir deste valor, pelo que reduzi-lo diminuirá a probabilidade de receber inesperadamente um erro de limite de taxa. Por exemplo, se o seu prompt criar conclusões com cerca de 400 tokens, o valor de max_tokens deve ter aproximadamente o mesmo tamanho.
Otimize os seus prompts. Pode fazê-lo encurtando as suas instruções, removendo palavras extra e eliminando exemplos adicionais. Poderá ter de trabalhar no seu prompt e testá-lo após estas alterações para garantir que continua a funcionar bem. O benefício adicional de um prompt mais curto é a redução dos seus custos. Se precisar de ajuda, diga-nos.
Escalão de utilização
Se implementou estas boas práticas, mas continua a deparar-se com erros de limite de taxa, pode aumentar os seus limites de taxa aumentando o seu escalão de utilização. Pode ver os seus limites de taxa atuais, o seu escalão de utilização atual e como aumentar o seu escalão de utilização/limites na secção Limites das definições da sua conta.
Leitura adicional
Consulte a nossa documentação abrangente sobre escalões de utilização e limites de taxa aqui.