Introdução aos limites de taxa
Limites de taxa são restrições que nossa API impõe ao número de vezes que um usuário ou cliente pode acessar nossos serviços em um período especificado.
Os limites de taxa podem ser quantizados, ou seja, aplicados em períodos mais curtos (por exemplo, 60.000 solicitações/minuto podem ser aplicadas como 1.000 solicitações/segundo). Enviar rajadas curtas de solicitações ou contextos (prompts+max_completion_tokens) longos demais pode causar erros de limite de taxa, mesmo quando você está tecnicamente abaixo do limite de taxa por minuto.
Práticas recomendadas para evitar erros de limite de taxa
Organização padrão
Se você participa de várias organizações com planos de cobrança e níveis de uso diferentes, confirme se sua organização padrão está definida como a organização apropriada para controlar qual organização é usada por padrão ao fazer solicitações com suas chaves de API.
Backoff exponencial
Inclua a lógica de backoff exponencial no seu código. Isso detectará solicitações com falha e tentará novamente.
Limites de tokens
Reduza o max_completion_tokens para corresponder ao tamanho das suas conclusões. As necessidades de uso são estimadas a partir desse valor, portanto reduzi-lo diminuirá a chance de você receber inesperadamente um erro de limite de taxa. Por exemplo, se seu prompt cria conclusões com cerca de 400 tokens, o valor de max_tokens deve ter aproximadamente o mesmo tamanho.
Otimize seus prompts. Você pode fazer isso encurtando suas instruções, removendo palavras extras e eliminando exemplos adicionais. Talvez seja necessário ajustar seu prompt e testá-lo após essas alterações para garantir que ele ainda funcione bem. O benefício adicional de um prompt mais curto é a redução do seu custo. Se precisar de ajuda, fale conosco.
Nível de uso
Se você implementou essas práticas recomendadas, mas ainda enfrenta erros de limite de taxa, pode aumentar seus limites de taxa aumentando seu nível de uso. Você pode ver seus limites de taxa atuais, seu nível de uso atual e como aumentar seu nível de uso/limites na seção Limites das configurações da sua conta.
Leitura adicional
Consulte nossa documentação abrangente sobre níveis de uso e limites de taxa aqui.