Як це працює

Клієнти можуть спрямовувати трафік у Швидкий режим окремо для кожного запиту за допомогою наявного параметра service_tier зі значенням service_tier = "fast".

За токени, оброблені у Швидкому режимі, стягується плата за кожен токен за вищим тарифом, ніж у разі стандартної обробки.

Крім налаштування на рівні запиту, Швидкий режим можна встановити для проєкту за замовчуванням у меню «Налаштування проєкту > Рівень обслуговування за замовчуванням: Fast». Це налаштування й надалі можна перевизначити для окремого запиту. Вибір Fast у налаштуваннях проєкту рівнозначний вибору Priority.

Як Швидкий режим взаємодіє з Рівнем масштабування?

Рівень масштабування залишатиметься окремим від Швидкого режиму. Запити, надіслані у Швидкий режим, оплачуються окремо й не зараховуються до придбаних пакетів TPM Рівня масштабування.

Чи можна автоматично спрямовувати надлишковий трафік Рівня масштабування у Швидкий режим?

Ні. Трафік, спрямований до Рівня масштабування, не перенаправлятиметься автоматично у Швидкий режим.

Як оплачується Швидкий режим?

За токени, оброблені у Швидкому режимі, стягується плата за кожен токен за вищим тарифом, ніж у разі стандартної обробки.

Чи пов’язане моє річне зобов’язання з певним режимом обробки?

Ні. Витрати в усіх режимах обробки зараховуються до вашого річного зобов’язання щодо витрат за планом Enterprise.

Чи зберігається знижка на кешовані вхідні токени?

Так! На кешовані вхідні дані діє така сама знижка 50–75%, як і за стандартної обробки.

Як переглянути використання Швидкого режиму та витрати на нього?

Щоб переглянути токени, оброблені у Швидкому режимі (раніше — у режимі Priority processing), відкрийте панель «Використання», виберіть Chat Completions або Responses і згрупуйте дані за Рівнем обслуговування.

Щоб переглянути витрати на Швидкий режим, відкрийте панель «Використання» та виберіть групування за статтею витрат.

На панелі «Використання» запити зі значенням priority або fast для service_tier і надалі відображатимуться як priority. Для майбутніх моделей це буде оновлено.

Моделі

Чи доступний Швидкий режим для довгого контексту, донавчених моделей, вбудовувань тощо?

Наразі ні. У майбутньому ми розглянемо можливість запропонувати Швидкий режим і для інших продуктів, окрім наших найновіших моделей.

Як інші модальності працюють зі Швидким режимом?

Швидкий режим підтримує ті самі мультимодальні можливості, що й стандартний режим. Зокрема, зображення можна використовувати як вхідні дані для пріоритетної обробки; вони обробляються з такою самою низькою затримкою.

Чи підтримуватимуться майбутні моделі?

Ми плануємо пропонувати Швидкий режим для нових моделей GPT, але не гарантуємо підтримку кожної моделі.

Ліміти запитів

Які діють ліміти запитів?

Для лімітів запитів використання пріоритетної обробки враховується так само, як і стандартний трафік API.

Які діють обмеження швидкості нарощування трафіку?

У Швидкому режимі діють обмеження швидкості нарощування трафіку, які забезпечують стабільно високу продуктивність для всіх клієнтів, водночас зберігаючи гнучку оплату за фактичне використання. Якщо (а) продуктивність Швидкого режиму знизилася ТА (б) трафік клієнта нарощується надто швидко, у рідкісних випадках деякі запити можуть бути переведені на стандартну обробку.

Поточне обмеження швидкості нарощування трафіку у Швидкому режимі визначено тут, у нашій основній документації.

Рекомендації щодо дотримання обмеження швидкості нарощування трафіку

Під час зміни моделей збільшуйте трафік поступово. Наприклад, якщо ваш застосунок переходить із попередньої версії моделі на нову, скористайтеся прапорцем функції, щоб перевести трафік протягом кількох годин, а не весь одразу.

Не запускайте у Швидкому режимі масштабні завдання з обробки даних або асинхронні завдання. Такі завдання можуть дуже швидко нарощувати трафік і часто не потребують підвищеної продуктивності Швидкого режиму.

Якщо ви регулярно стикаєтеся з обмеженнями швидкості нарощування трафіку, натомість придбайте квоту Рівня масштабування.

Чи є обмеження швидкості нарощування трафіку спільними для моїх проєктів або організацій?

Так, увесь ваш трафік враховується в межах одного обмеження швидкості його нарощування.

Правила

Що станеться, якщо Швидкий режим не забезпечуватиме цільову затримку?

Якщо у вас є запитання або зауваження, зверніться до свого AD. До SLA Швидкого режиму застосовуються ті самі умови, що й до SLA Рівня масштабування. Якщо протягом певного періоду ми не виконаємо ці SLA для клієнтів з угодами Enterprise, їм буде надано сервісні кредити.

Чи сумісний Швидкий режим із вимогами до локалізації даних?

Так.

Чи сумісний Швидкий режим із ZDR та BAA?

Так.