Помилки ліміту запитів («Too Many Requests», «Rate limit reached») виникають, коли ваша організація досягає свого ліміту запитів, тобто максимальної кількості запитів і токенів, які можна надсилати за хвилину. Якщо ліміт досягнуто, організація не може успішно надсилати запити, доки ліміт запитів не буде скинуто. Повідомлення про помилку виглядає так:
Досягнуто обмеження швидкості для gpt-3.5-turbo в організації org-exampleorgid123 за токенами за хвилину.
Ліміт: 10000.000000 / хв. Поточне значення: 10020.000000 / хв. Рекомендуємо обробляти ці помилки за допомогою експоненційного відступу. Експоненційний відступ означає коротку паузу в разі виникнення помилки ліміту запитів, а потім повторну спробу виконати невдалий запит. Якщо запит усе ще не вдається виконати, тривалість паузи збільшується, і процес повторюється. Це триває, доки запит не буде успішно виконано або доки не буде досягнуто максимальної кількості повторних спроб.
Оскільки невдалі запити враховуються у вашому похвилинному ліміті, безперервне повторне надсилання запиту не спрацює. Ліміти запитів можуть застосовуватися до коротших періодів — наприклад, 1 запит на секунду для ліміту 60 RPM — це означає, що короткі сплески великої кількості запитів також можуть призводити до помилок ліміту запитів. Експоненційний відступ добре працює, розподіляючи запити в часі, щоб мінімізувати частоту таких помилок.
У Python рішення з експоненційним відступом може виглядати так:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Зверніть увагу: бібліотека backoff є стороннім інструментом. Ми закликаємо всіх наших клієнтів ретельно перевіряти будь-який зовнішній код для своїх проєктів.)
Якщо після впровадження експоненційного відступу ця помилка все одно виникає, можливо, вам потрібно підвищити свій рівень використання. Ви можете переглянути свої поточні ліміти запитів і дізнатися, як підвищити рівень довіри, щоб збільшити ліміти запитів, у розділі лімітів налаштувань свого облікового запису.