Введение в лимиты запросов
Лимиты запросов — это ограничения, которые наш API накладывает на количество обращений пользователя или клиента к нашим сервисам за определенный период времени.
Лимиты запросов могут быть квантованы, то есть применяться на более коротких промежутках времени (например, 60 000 запросов в минуту могут применяться как 1 000 запросов в секунду). Отправка коротких всплесков запросов или слишком длинных контекстов (prompts+max_completion_tokens) может приводить к ошибкам лимита запросов, даже если формально вы не превышаете лимит запросов в минуту.
Рекомендации по предотвращению ошибок лимита запросов
Организация по умолчанию
Если вы состоите в нескольких организациях с разными планами оплаты и уровнями использования, убедитесь, что ваша организация по умолчанию выбрана правильно: это определяет, какая организация используется по умолчанию при выполнении запросов с вашими API-ключами.
Экспоненциальная задержка
Добавьте в код логику экспоненциальной задержки. Она будет перехватывать неудачные запросы и повторять их.
Лимиты токенов
Уменьшите max_completion_tokens, чтобы он соответствовал размеру ваших завершений. Потребности в использовании оцениваются на основе этого значения, поэтому его уменьшение снизит вероятность неожиданного получения ошибки лимита запросов. Например, если ваш промпт создает завершения примерно на 400 токенов, значение max_tokens должно быть примерно такого же размера.
Оптимизируйте свои промпты. Для этого можно сделать инструкции короче, убрать лишние слова и удалить лишние примеры. Возможно, после этих изменений вам придется доработать промпт и протестировать его, чтобы убедиться, что он по-прежнему хорошо работает. Дополнительное преимущество более короткого промпта — снижение ваших затрат. Если вам нужна помощь, сообщите нам.
Уровень использования
Если вы внедрили эти рекомендации, но по-прежнему сталкиваетесь с ошибками лимита запросов, вы можете увеличить свои лимиты запросов, повысив уровень использования. Текущие лимиты запросов, текущий уровень использования и способы повышения уровня использования/лимитов можно посмотреть в разделе «Лимиты» настроек аккаунта.
Дополнительные материалы
Ознакомьтесь с нашей подробной документацией об уровнях использования и лимитах запросов здесь.