Вече предлагаме приоритетна обработка за клиенти на Enterprise API, които искат достъп до по-бърза и по-постоянна производителност при определени модели. По-долу са отговорите на често задавани въпроси за начина на работа, ценообразуването, наличността на модели, лимитите на заявките, надеждността, правилата и допустимостта.

Научете повече тук.

Достъп

Кой има достъп до приоритетна обработка?

Приоритетната обработка в момента е налична за корпоративни клиенти.

Налична ли е приоритетна обработка във всички региони?

Наличността на приоритетна обработка зависи от приложимите закони и разпоредби във всяка юрисдикция. Моля, свържете се с вашия Account Director, ако имате въпроси относно наличността във вашия регион.

Ценообразуване

Как да започна да използвам приоритетна обработка?

Клиентите могат да насочват трафик към приоритетна обработка за всяка заявка поотделно, като използват съществуващия параметър service_tier с опцията service_tier="priority".

Как това взаимодейства с Ниво на мащабиране?

Ниво на мащабиране ще остане отделно от приоритетната обработка. Заявките, изпратени към приоритетна обработка, ще се таксуват отделно и няма да се отчитат към закупените от вас TPM пакети от Ниво на мащабиране.

Мога ли автоматично да изпращам излишния си трафик от Ниво на мащабиране към приоритетна обработка?

Не. Трафикът, изпратен към Ниво на мащабиране, няма автоматично да се прехвърля към приоритетна обработка.

Как се таксува приоритетната обработка?

Токените, обслужвани чрез приоритетна обработка, ще се таксуват на база токен, с цена с надценка спрямо тарифите за стандартна обработка.

Годишният ми ангажимент обвързан ли е с конкретен режим на обработка?

Не. Всички режими на обработка се отчитат към годишния ви ангажимент за разходи за Enterprise.

Все още ли получавам отстъпка за кеширани входни токени?

Да! Кешираните входни данни получават същата отстъпка от 50–75%, както при стандартната обработка.

Как да видя използването и разходите си за приоритетна обработка?

За да видите токените, обработени чрез приоритетна обработка, отидете в таблото за използване, изберете Chat Completions или Responses и групирайте по Ниво на услугата. За да видите разходите за приоритетна обработка, отидете в таблото за използване и изберете групиране по редова позиция.

Модели

Налична ли е приоритетна обработка за дълъг контекст, фино настроени модели, вграждания и др.?

Не в момента. В бъдеще ще преценим дали да предлагаме приоритетна обработка за допълнителни продукти извън най-новите ни модели.

Как работят другите модалности с приоритетната обработка?

Приоритетната обработка поддържа същите мултимодални възможности, които са налични при Standard. По-специално изображенията могат да се използват като входни данни за приоритетна обработка и се обработват със същото кратко закъснение.

Ще се поддържат ли бъдещи модели?

Планираме да предлагаме приоритетна обработка за нови GPT модели, но не гарантираме, че всеки модел ще се поддържа.

Лимити на заявките

Какви са лимитите на заявките?

Потреблението на приоритетна обработка се третира по същия начин като стандартния API трафик за целите на лимитите на заявките.

Какви са лимитите за темпа на нарастване?

Приоритетната обработка има лимити за темпа на нарастване, за да осигури постоянно висока производителност за всички клиенти, като същевременно предоставя гъвкаво ценообразуване при поискване. Ако (а) производителността на приоритетната обработка е влошена И (б) трафикът на клиента нараства твърде бързо, в редки случаи някои приоритетни заявки може вместо това да бъдат понижени до стандартна обработка.

Текущият лимит за темпа на нарастване при приоритетна обработка е определен в основната ни документация тук.

Добри практики за спазване на лимита за темпа на нарастване

• Увеличавайте трафика постепенно при смяна на модели. Например, ако приложението ви преминава от предишна моментна версия към нова, използвайте флаг за функция, за да прехвърлите трафика в рамките на няколко часа, вместо наведнъж.

• Избягвайте изпълнението на големи задачи за обработка на данни или асинхронни задачи чрез приоритетна обработка. Тези задачи могат много бързо да увеличат трафика и често не се нуждаят от подобрената производителност на приоритетната обработка.

• Ако редовно достигате лимитите за темпа на нарастване, помислете за закупуване на квота за Ниво на мащабиране.

Споделят ли се лимитите за темпа на нарастване между моите проекти или организации?

Да, целият ви трафик допринася за един и същ лимит за темпа на нарастване.

Правила

Какво се случва, ако приоритетната обработка не постига целта за латентност?

Моля, свържете се с вашия AD при въпроси или притеснения. SLA за приоритетна обработка ще се третират по същия начин като SLA за Ниво на мащабиране; ще се предлагат кредити за услугата, ако не успеем да изпълним тези SLA за клиенти с договори Enterprise в рамките на даден времеви прозорец.

Съвместима ли е приоритетната обработка с местонахождение на данните?

Да.

Съвместима ли е приоритетната обработка със ZDR и BAA?

Да.