Принцип работы

Клиенты могут направлять трафик в Быстрый режим для каждого отдельного запроса с помощью существующего параметра service_tier, указав service_tier = "fast".

Токены, обработанные в Быстром режиме, оплачиваются поштучно по более высокому тарифу, чем при стандартной обработке.

Помимо настройки на уровне запроса, Быстрый режим можно выбрать для проекта по умолчанию в разделе «Настройки проекта > Тарифный план по умолчанию: Быстрый». При этом настройку по-прежнему можно переопределить для отдельного запроса. Выбор варианта «Быстрый» в настройках проекта равнозначен выбору варианта «Приоритетный».

Как Быстрый режим взаимодействует с Уровнем производительности?

Уровень производительности останется отдельным от Быстрого режима. Запросы, направленные в Быстрый режим, оплачиваются отдельно и не учитываются в приобретенных пакетах TPM Уровня производительности.

Можно ли автоматически направлять в Быстрый режим трафик, превышающий квоту Уровня производительности?

Нет. Трафик, направленный на Уровень производительности, не будет автоматически перенаправляться в Быстрый режим при превышении квоты.

Как оплачивается Быстрый режим?

Токены, обработанные в Быстром режиме, оплачиваются поштучно по более высокому тарифу, чем при стандартной обработке.

Привязано ли мое годовое обязательство к определенному режиму обработки?

Нет. Расходы во всех режимах обработки засчитываются в счет вашего годового обязательства по расходам Enterprise.

Сохраняется ли скидка на кэшированные входные токены?

Да! На кэшированные входные данные действует та же скидка 50–75 %, что и при стандартной обработке.

Как посмотреть статистику использования Быстрого режима и расходы на него?

Чтобы посмотреть количество токенов, обработанных в Быстром режиме (ранее — приоритетная обработка), откройте панель «Использование», выберите Chat Completions или Responses, а затем выполните группировку по Тарифному плану.

Чтобы посмотреть расходы на Быстрый режим, откройте панель «Использование» и выберите группировку по статье расходов.

На панели «Использование» запросы со значением priority или fast параметра service_tier по-прежнему будут отображаться как priority. Для будущих моделей это будет изменено.

Модели

Доступен ли Быстрый режим для длинного контекста, дообученных моделей, эмбеддингов и других возможностей?

На данный момент нет. В будущем мы рассмотрим возможность внедрения Быстрого режима в другие продукты помимо наших новейших моделей.

Как Быстрый режим работает с другими модальностями?

Быстрый режим поддерживает те же мультимодальные возможности, что и стандартный режим. В частности, изображения можно передавать на вход приоритетной обработки, и они обрабатываются с такой же низкой задержкой.

Будут ли поддерживаться будущие модели?

Мы планируем предлагать Быстрый режим для новых моделей GPT, но не гарантируем поддержку каждой модели.

Лимиты запросов

Какие действуют лимиты запросов?

С точки зрения лимитов запросов использование приоритетной обработки учитывается так же, как стандартный трафик API.

Каковы лимиты скорости наращивания нагрузки?

В Быстром режиме действуют лимиты скорости наращивания нагрузки, чтобы обеспечить стабильно высокую производительность для всех клиентов и при этом сохранить гибкую оплату по факту использования. В редких случаях некоторые запросы могут быть переведены на стандартную обработку, если (а) производительность Быстрого режима снизилась И (б) трафик клиента растет слишком быстро.

Текущий лимит скорости наращивания нагрузки в Быстром режиме указан здесь, в нашей основной документации.

Рекомендации по соблюдению лимита скорости наращивания нагрузки

При смене моделей увеличивайте трафик постепенно. Например, если приложение переходит с предыдущего снимка модели на новый, используйте флаг функции, чтобы перенаправлять трафик постепенно в течение нескольких часов, а не весь сразу.

Не запускайте в Быстром режиме крупные задачи по обработке данных или асинхронные задания. Такие задачи могут очень быстро увеличить трафик, при этом повышенная производительность Быстрого режима им зачастую не требуется.

Если вы регулярно сталкиваетесь с лимитами скорости наращивания нагрузки, рассмотрите возможность приобретения квоты Уровня производительности.

Лимиты скорости наращивания нагрузки общие для всех моих проектов и организаций?

Да, весь ваш трафик учитывается в рамках единого лимита скорости наращивания нагрузки.

Правила

Что произойдет, если Быстрый режим не обеспечивает целевую задержку?

Если у вас есть вопросы или сомнения, обратитесь к своему директору по работе с клиентами. К SLA Быстрого режима применяются те же условия, что и к SLA Уровня производительности. Если в течение определенного периода мы не выполним эти SLA для клиентов с соглашениями Enterprise, им будет предоставлена сервисная компенсация.

Совместим ли Быстрый режим с резидентностью данных?

Да.

Совместим ли Быстрый режим с ZDR и BAA?

Да.