Теперь мы предлагаем приоритетную обработку для корпоративных клиентов API, которым нужен доступ к более быстрой и стабильной производительности на определенных моделях. Ниже приведены ответы на распространенные вопросы о том, как это работает, о ценах, доступности моделей, лимитах запросов, надежности, политиках и условиях доступа.
Подробнее здесь.
Доступ
Кому доступна приоритетная обработка?
В настоящее время приоритетная обработка доступна клиентам Enterprise.
Доступна ли приоритетная обработка во всех регионах?
Доступность приоритетной обработки зависит от применимых законов и нормативных требований в каждой юрисдикции. Если у вас есть вопросы о доступности в вашем регионе, свяжитесь со своим Account Director.
Цены
Как начать использовать приоритетную обработку?
Клиенты могут направлять трафик на приоритетную обработку для каждого запроса с помощью существующего параметра service_tier и опции service_tier="priority".
Как это взаимодействует с Уровнем производительности?
Уровень производительности останется отдельным от приоритетной обработки. Запросы, отправленные на приоритетную обработку, будут тарифицироваться отдельно и не будут засчитываться в приобретенные вами пакеты TPM Уровня производительности.
Можно ли автоматически направлять избыточный трафик Уровня производительности на приоритетную обработку?
Нет. Трафик, отправленный на Уровень производительности, не будет автоматически перенаправляться на приоритетную обработку при превышении лимита.
Как тарифицируется приоритетная обработка?
Токены, обслуживаемые приоритетной обработкой, будут тарифицироваться за каждый токен с надбавкой относительно ставок стандартной обработки.
Привязано ли мое годовое обязательство к определенному режиму обработки?
Нет. Все режимы обработки засчитываются в ваше годовое обязательство по расходам Enterprise.
Сохраняется ли скидка на кэшированные входные токены?
Да! Для кэшированных входных данных действует такая же скидка 50–75%, как и при стандартной обработке.
Как посмотреть использование и расходы на приоритетную обработку?
Чтобы посмотреть токены, обработанные приоритетной обработкой, перейдите на панель Usage, выберите Chat Completions или Responses и сгруппируйте по тарифному плану. Чтобы посмотреть стоимость приоритетной обработки, перейдите на панель Usage и выберите группировку по позиции расходов.
Модели
Доступна ли приоритетная обработка для длинного контекста, дообученных моделей, эмбеддингов и т. д.?
В настоящее время нет. В будущем мы оценим возможность предложить приоритетную обработку для дополнительных продуктов помимо наших новейших моделей.
Как другие модальности работают с приоритетной обработкой?
Приоритетная обработка поддерживает те же мультимодальные возможности, что доступны в Standard. В частности, изображения можно использовать как входные данные для приоритетной обработки, и они обрабатываются с такой же низкой задержкой.
Будут ли поддерживаться будущие модели?
Мы планируем предлагать приоритетную обработку для новых моделей GPT, но не гарантируем поддержку каждой модели.
Лимиты запросов
Какие действуют лимиты запросов?
Потребление приоритетной обработки учитывается для лимитов запросов так же, как стандартный трафик API.
Какие действуют лимиты скорости наращивания трафика?
Для приоритетной обработки действуют лимиты скорости наращивания трафика, чтобы обеспечивать стабильно высокую производительность для всех клиентов, сохраняя при этом гибкие цены по требованию. Если (a) производительность приоритетной обработки снижена И (b) трафик клиента наращивается слишком быстро, в редких случаях некоторые приоритетные запросы могут быть вместо этого переведены на стандартную обработку.
Текущий лимит скорости наращивания трафика для приоритетной обработки определен в нашей основной документации здесь.
Рекомендации по соблюдению лимита скорости наращивания трафика
Постепенно увеличивайте трафик при смене моделей. Например, если ваше приложение переходит с предыдущего снимка на новый, используйте функциональный флаг, чтобы переводить трафик в течение нескольких часов, а не сразу весь.
Избегайте выполнения крупных задач обработки данных или асинхронных заданий в режиме приоритетной обработки. Такие задания могут очень быстро наращивать трафик и часто не требуют повышенной производительности приоритетной обработки.
Если вы регулярно сталкиваетесь с лимитами скорости наращивания трафика, рассмотрите покупку квоты Уровня производительности.
Общие ли лимиты скорости наращивания трафика для моих проектов или организаций?
Да, весь ваш трафик учитывается в одном и том же лимите скорости наращивания трафика.
Политики
Что происходит, если приоритетная обработка не соответствует целевому показателю задержки?
По любым вопросам или опасениям обратитесь к своему AD. SLA для приоритетной обработки будут рассматриваться так же, как SLA для Уровня производительности; сервисные кредиты будут предоставляться, если мы не выполним эти SLA для клиентов с соглашениями Enterprise в течение заданного временного окна.
Совместима ли приоритетная обработка с резидентностью данных?
Да.
Совместима ли приоритетная обработка с ZDR и BAA?
Да.