Начин на работа

Клиентите могат да насочват трафика към Бърз режим за всяка отделна заявка чрез съществуващия параметър service_tier с опцията service_tier = "fast".

Обработените в Бърз режим токени се таксуват поотделно, като цената им е по-висока от тази при стандартна обработка.

Освен за отделна заявка, можете да зададете Бърз режим по подразбиране за даден проект от „Настройки на проекта“ > „Ниво на услугата по подразбиране: Бързо“. Все пак можете да променяте настройката за всяка отделна заявка. Избирането на „Бързо“ в настройките на проекта е равностойно на избирането на „Приоритетно“.

Как се съчетава това с Ниво на мащабиране?

Ниво на мащабиране ще остане отделно от Бърз режим. Заявките, изпратени към Бърз режим, ще се таксуват отделно и няма да се приспадат от закупените ви пакети TPM за Ниво на мащабиране.

Мога ли автоматично да насочвам излишния трафик от Ниво на мащабиране към Бърз режим?

Не. Трафикът, изпратен към Ниво на мащабиране, няма автоматично да се пренасочва към Бърз режим.

Как се таксува Бърз режим?

Обработените в Бърз режим токени се таксуват поотделно, като цената им е по-висока от тази при стандартна обработка.

Обвързан ли е годишният ми ангажимент с конкретен режим на обработка?

Не. Всички режими на обработка се отчитат към годишния ви ангажимент за разходи по плана Enterprise.

Продължавам ли да получавам отстъпка за кешираните входни токени?

Да! За кешираните входни данни се прилага същата отстъпка от 50–75% като при стандартната обработка.

Как да прегледам използването и разходите си за Бърз режим?

За да видите токените, обработени чрез Бърз режим (предишно име „Приоритетна обработка“), отворете таблото „Използване“, изберете Chat Completions или Responses и групирайте по Ниво на услугата.

За да видите разходите за Бърз режим, отворете таблото „Използване“ и изберете „Групиране по позиция“.

В таблото „Използване“ заявките със стойност priority или fast за service_tier ще продължат да се показват като priority. Това ще бъде актуализирано за бъдещите модели.

Модели

Предлага ли се Бърз режим за дълъг контекст, фино настроени модели, вграждания и др.?

Засега не. В бъдеще ще преценим дали да предлагаме Бърз режим и за други продукти освен най-новите ни модели.

Как работят другите модалности с Бърз режим?

Бърз режим поддържа същите мултимодални възможности като стандартната обработка. По-конкретно, изображенията могат да се използват като входни данни за приоритетна обработка и се обработват със същото кратко време на изчакване.

Ще се поддържат ли бъдещите модели?

Планираме да предлагаме Бърз режим за новите модели GPT, но не гарантираме поддръжка за всеки модел.

Лимити на заявките

Какви са лимитите на заявките?

По отношение на лимитите на заявките използването на приоритетна обработка се третира по същия начин като стандартния трафик към API.

Какви са лимитите за скоростта на нарастване?

Бърз режим има лимити за скоростта на нарастване, за да осигурява постоянно висока производителност за всички клиенти, като същевременно предлага гъвкаво ценообразуване при поискване. В редки случаи, ако (а) производителността на Бърз режим е влошена И (б) трафикът на даден клиент нараства прекалено бързо, някои заявки може вместо това да бъдат прехвърлени към стандартна обработка.

Текущият лимит за скоростта на нарастване в Бърз режим е посочен тук, в основната ни документация.

Добри практики за спазване на лимита за скоростта на нарастване

При смяна на модели увеличавайте трафика постепенно. Например, ако приложението ви преминава от предишна моментна версия към нова, използвайте флаг за функции, за да прехвърлите трафика в рамките на няколко часа, вместо наведнъж.

Избягвайте да изпълнявате в Бърз режим мащабни задачи за обработка на данни или асинхронни задачи. Тези задачи могат да увеличат трафика много бързо и често не се нуждаят от по-високата производителност на Бърз режим.

Ако редовно достигате лимитите за скоростта на нарастване, помислете дали вместо това да не закупите квота за Ниво на мащабиране.

Споделят ли се лимитите за скоростта на нарастване между проектите или организациите ми?

Да, целият ви трафик се отчита към един и същ лимит за скоростта на нарастване.

Правила

Какво се случва, ако Бърз режим не постига целевото време на изчакване?

Ако имате въпроси или притеснения, свържете се с директора, отговарящ за профила ви. Споразуменията за ниво на обслужване (SLA) за Бърз режим ще се третират по същия начин като тези за Ниво на мащабиране. Ако в даден период не изпълним тези SLA за клиенти със споразумения Enterprise, ще предоставим компенсационни кредити.

Съвместим ли е Бърз режим с изискванията за местонахождение на данните?

Да.

Съвместим ли е Бърз режим със ZDR и BAA?

Да.