Вступ до лімітів запитів
Ліміти запитів — це обмеження, які наш API накладає на кількість разів, коли користувач або клієнт може отримувати доступ до наших сервісів протягом визначеного періоду часу.
Ліміти запитів можуть бути квантованими, тобто застосовуватися протягом коротших періодів часу (наприклад, 60 000 запитів/хвилину може застосовуватися як 1 000 запитів/секунду). Надсилання коротких сплесків запитів або надто довгих контекстів (запити+max_completion_tokens) може призвести до помилок ліміту запитів, навіть якщо технічно ви не перевищуєте ліміт запитів за хвилину.
Рекомендації щодо запобігання помилкам ліміту запитів
Організація за замовчуванням
Якщо ви належите до кількох організацій із різними тарифними планами та рівнями використання, переконайтеся, що ваша організація за замовчуванням налаштована на відповідну організацію, щоб керувати тим, яка організація використовується за замовчуванням під час надсилання запитів із вашими ключами API.
Експоненційна затримка
Додайте логіку експоненційної затримки у свій код. Це дасть змогу перехоплювати невдалі запити й повторювати їх.
Ліміти токенів
Зменште max_completion_tokens, щоб він відповідав розміру ваших завершень. Потреби використання оцінюються на основі цього значення, тому його зменшення знизить імовірність того, що ви несподівано отримаєте помилку ліміту запитів. Наприклад, якщо ваш запит створює завершення приблизно на 400 токенів, значення max_tokens має бути приблизно такого самого розміру.
Оптимізуйте свої запити. Це можна зробити, скоротивши інструкції, прибравши зайві слова та видаливши зайві приклади. Можливо, вам доведеться попрацювати над своїм запитом і протестувати його після цих змін, щоб переконатися, що він і надалі працює добре. Додаткова перевага коротшого запиту — менша вартість для вас. Якщо вам потрібна допомога, повідомте нам.
Рівень використання
Якщо ви впровадили ці рекомендації, але все ще стикаєтеся з помилками ліміту запитів, ви можете збільшити свої ліміти запитів, підвищивши рівень використання. Ви можете переглянути поточні ліміти запитів, свій поточний рівень використання та дізнатися, як підвищити рівень використання/ліміти, у розділі «Ліміти» налаштувань облікового запису.
Додаткові матеріали
Ознайомтеся з нашою докладною документацією про рівні використання та ліміти запитів тут.