Тепер ми пропонуємо пріоритетну обробку для клієнтів Enterprise API, які хочуть отримати доступ до швидшої та стабільнішої продуктивності на певних моделях. Нижче наведено відповіді на поширені запитання про те, як це працює, ціни, доступність моделей, ліміти запитів, надійність, політики та відповідність вимогам.
Докладніше тут.
Доступ
Хто може отримати доступ до пріоритетної обробки?
Пріоритетна обробка наразі доступна клієнтам Enterprise.
Чи доступна пріоритетна обробка в усіх регіонах?
Доступність пріоритетної обробки залежить від чинних законів і нормативних вимог у кожній юрисдикції. Якщо у вас є запитання щодо доступності у вашому регіоні, зверніться до свого Account Director.
Ціни
Як почати користуватися пріоритетною обробкою?
Клієнти можуть спрямовувати трафік на пріоритетну обробку окремо для кожного запиту за допомогою наявного параметра service_tier з опцією service_tier="priority".
Як це взаємодіє з Рівнем масштабування?
Рівень масштабування залишатиметься окремим від пріоритетної обробки. Запити, надіслані на пріоритетну обробку, оплачуватимуться окремо й не зараховуватимуться до придбаних вами пакетів TPM Рівня масштабування.
Чи можу я автоматично надсилати надлишковий трафік Рівня масштабування на пріоритетну обробку?
Ні. Трафік, надісланий на Рівень масштабування, не буде автоматично переноситися на пріоритетну обробку.
Як виставляється рахунок за пріоритетну обробку?
Токени, оброблені пріоритетною обробкою, оплачуватимуться за кожен токен за преміальною ціною порівняно зі ставками стандартної обробки.
Чи прив’язане моє річне зобов’язання до певного режиму обробки?
Ні. Усі режими обробки зараховуються до вашого річного зобов’язання щодо витрат Enterprise.
Чи зберігається знижка на кешовані вхідні токени?
Так! Кешовані вхідні дані отримують таку саму знижку 50–75%, як і за стандартної обробки.
Як переглянути використання й витрати на пріоритетну обробку?
Щоб переглянути токени, оброблені за допомогою пріоритетної обробки, перейдіть на панель Usage, виберіть Chat Completions або Responses і згрупуйте за Рівнем обслуговування. Щоб переглянути вартість пріоритетної обробки, перейдіть на панель Usage і виберіть групування за статтею витрат.
Моделі
Чи доступна пріоритетна обробка для довгого контексту, моделей із тонким налаштуванням, векторних представлень тощо?
Наразі ні. У майбутньому ми оцінимо, чи варто пропонувати пріоритетну обробку для додаткових продуктів, окрім наших найновіших моделей.
Як інші модальності працюють із пріоритетною обробкою?
Пріоритетна обробка підтримує ті самі мультимодальні можливості, що доступні у Standard. Зокрема, зображення можна використовувати як вхідні дані для пріоритетної обробки, і вони обробляються з такою самою низькою затримкою.
Чи підтримуватимуться майбутні моделі?
Ми плануємо пропонувати пріоритетну обробку для нових моделей GPT, але не гарантуємо підтримку кожної моделі.
Ліміти запитів
Які є ліміти запитів?
Споживання пріоритетної обробки для лімітів запитів розглядається так само, як стандартний API-трафік.
Що таке ліміти швидкості нарощування трафіку?
Пріоритетна обробка має ліміти швидкості нарощування трафіку, щоб забезпечити стабільно високу продуктивність для всіх клієнтів і водночас гнучке ціноутворення на вимогу. Якщо (a) продуктивність пріоритетної обробки погіршується І (b) трафік клієнта нарощується надто швидко, у рідкісних випадках деякі пріоритетні запити можуть бути натомість переведені на стандартну обробку.
Поточний ліміт швидкості нарощування трафіку для пріоритетної обробки визначено в нашій основній документації тут.
Практичні поради, як не перевищувати ліміт швидкості нарощування трафіку
Поступово збільшуйте трафік під час зміни моделей. Наприклад, якщо ваш застосунок переходить із попереднього знімка на новий, використовуйте прапорець функції, щоб переносити трафік протягом кількох годин, а не весь одразу.
Уникайте запуску великих завдань з обробки даних або асинхронних завдань у пріоритетній обробці. Такі завдання можуть дуже швидко наростити трафік і часто не потребують підвищеної продуктивності пріоритетної обробки.
Якщо ви регулярно стикаєтеся з лімітами швидкості нарощування трафіку, розгляньте можливість придбати квоту Рівня масштабування.
Чи спільні ліміти швидкості нарощування трафіку для моїх проєктів або організацій?
Так, увесь ваш трафік зараховується до одного й того самого ліміту швидкості нарощування трафіку.
Політики
Що станеться, якщо пріоритетна обробка не досягає цільового показника затримки?
Якщо у вас є запитання чи занепокоєння, зверніться до свого AD. SLA пріоритетної обробки розглядатимуться так само, як SLA Рівня масштабування; сервісні кредити надаватимуться, якщо ми не виконаємо ці SLA для клієнтів з угодами Enterprise протягом певного часового вікна.
Чи сумісна пріоритетна обробка з вимогами до локалізації даних?
Так.
Чи сумісна пріоритетна обробка із ZDR та BAA?
Так.