Uma introdução aos limites de taxa
Os limites de taxa são restrições que a nossa API impõe ao número de vezes que um utilizador ou cliente pode aceder aos nossos serviços dentro de um período de tempo especificado.
Os limites de taxa podem ser quantizados, o que significa que são aplicados ao longo de períodos de tempo mais curtos (por ex., 60.000 pedidos/minuto podem ser aplicados como 1.000 pedidos/segundo). Enviar rajadas curtas de pedidos ou contextos (prompts+max_completion_tokens) demasiado longos pode levar a erros de limite de taxa, mesmo quando está tecnicamente abaixo do limite de taxa por minuto.
Melhores práticas para evitar erros de limite de taxa
Organização predefinida
Se pertencer a várias organizações com diferentes planos de faturação e níveis de utilização, certifique-se de que a sua organização predefinida está definida para a organização adequada, para controlar qual a organização usada por predefinição ao fazer pedidos com as suas chaves de API.
Exponential backoff
Inclua lógica de exponential backoff no seu código. Isto irá detetar e repetir os pedidos com falha.
Limites de token
Reduza os max_completion_tokens para corresponder ao tamanho das suas conclusões. As necessidades de utilização são estimadas a partir deste valor, pelo que reduzi-lo diminuirá a probabilidade de receber inesperadamente um erro de limite de taxa. Por exemplo, se o seu prompt criar conclusões de cerca de 400 tokens, o valor de max_tokens deverá ser aproximadamente do mesmo tamanho.
Otimize os seus prompts. Pode fazê-lo tornando as suas instruções mais curtas, removendo palavras extra e eliminando exemplos adicionais. Poderá ter de trabalhar no seu prompt e testá-lo após estas alterações para garantir que continua a funcionar bem. A vantagem adicional de um prompt mais curto é a redução do custo para si. Se precisar de ajuda, diga-nos.
Nível de utilização
Se implementou estas melhores práticas mas continua a ter erros de limite de taxa, pode aumentar os seus limites de taxa aumentando o seu nível de utilização. Pode ver os seus limites de taxa atuais, o seu nível de utilização atual e como aumentar o seu nível/limites de utilização na secção Limites das definições da sua conta.
Leitura adicional
Consulte a nossa documentação abrangente sobre níveis de utilização e limites de taxa aqui.