Uma introdução aos limites de taxa
Limites de taxa são restrições que nossa API impõe ao número de vezes que um usuário ou cliente pode acessar nossos serviços dentro de um período de tempo especificado.
Os limites de taxa podem ser quantizados, ou seja, são aplicados em períodos menores (por exemplo, 60.000 solicitações/minuto podem ser aplicadas como 1.000 solicitações/segundo). Enviar rajadas curtas de solicitações ou contextos (prompts+max_completion_tokens) que sejam longos demais pode levar a erros de limite de taxa, mesmo quando você tecnicamente está abaixo do limite por minuto.
Melhores práticas para evitar erros de limite de taxa
Org padrão
Se você pertence a várias orgs com planos de cobrança e níveis de uso diferentes, confirme que sua organização padrão está definida para a org apropriada, para controlar qual organização é usada por padrão ao fazer solicitações com suas chaves de API.
Backoff exponencial
Inclua lógica de backoff exponencial no seu código. Isso vai capturar e tentar novamente solicitações que falharem.
Limites de token
Reduza o max_completion_tokens para corresponder ao tamanho das suas conclusões. As necessidades de uso são estimadas a partir desse valor, então reduzi-lo diminuirá a chance de você receber inesperadamente um erro de limite de taxa. Por exemplo, se seu prompt gera conclusões em torno de 400 tokens, o valor de max_tokens deve ficar em torno do mesmo tamanho.
Otimize seus prompts. Você pode fazer isso encurtando suas instruções, removendo palavras extras e eliminando exemplos desnecessários. Talvez você precise trabalhar no seu prompt e testá-lo após essas mudanças para garantir que ele ainda funcione bem. O benefício adicional de um prompt mais curto é a redução de custo para você. Se precisar de ajuda, é só nos avisar.
Nível de uso
Se você implementou essas melhores práticas, mas ainda enfrenta erros de limite de taxa, pode aumentar seus limites de taxa aumentando seu nível de uso. Você pode ver seus limites de taxa atuais, seu nível de uso atual e como aumentar seu nível de uso/limites na seção Limites das configurações da sua conta.
Leitura adicional
Consulte nossa documentação completa sobre níveis de uso e limites de taxa aqui.