Како функционира

Корисниците може да го насочуваат сообраќајот кон Брзиот режим за секое барање одделно, користејќи го постојниот параметар service_tier со опцијата service_tier = "fast".

Токените обработени во Брзиот режим ќе се наплаќаат по токен, по повисока цена од цените за Стандардна обработка.

Освен на ниво на барање, Брзиот режим може да го поставите и како стандарден за проектот во Поставки на проектот > Стандардно ниво на услуга: Брзо. И понатаму може да ја замените поставката за секое барање одделно. Изборот на Брзо во поставките на проектот е истоветен со изборот на Приоритетно.

Како функционира ова со Нивото на скалирање?

Нивото на скалирање ќе остане одвоено од Брзиот режим. Барањата испратени до Брзиот режим ќе се наплаќаат одделно и нема да се засметуваат во купените TPM-пакети за Нивото на скалирање.

Може ли вишокот сообраќај од Нивото на скалирање автоматски да го испраќам во Брзиот режим?

Не. Сообраќајот испратен до Нивото на скалирање нема автоматски да се пренасочува кон Брзиот режим.

Како се наплаќа Брзиот режим?

Токените обработени во Брзиот режим ќе се наплаќаат по токен, по повисока цена од цените за Стандардна обработка.

Дали мојата годишна обврска е врзана за одреден режим на обработка?

Не. Сите режими на обработка се засметуваат во вашата годишна обврска за трошоци за Enterprise.

Дали и понатаму добивам попуст за кешираните влезни токени?

Да! Кешираните влезни податоци го добиваат истиот попуст од 50–75% како и при Стандардна обработка.

Како да ги видам користењето и трошоците за Брзиот режим?

За да ги видите токените обработени во Брзиот режим (порано Приоритетна обработка), одете на контролната табла Употреба, изберете Chat Completions или Responses, а потоа Групирај според Ниво на услуга.

За да ги видите трошоците за Брзиот режим, одете на контролната табла Употреба и изберете Групирај според Ставка.

На контролната табла Употреба, барањата што користат priority или fast како service_tier и понатаму ќе се прикажуваат како priority. Ова ќе се ажурира за идните модели.

Модели

Дали Брзиот режим е достапен за долг контекст, фино приспособени модели, векторски претставувања итн.?

Не во моментов. Во иднина ќе разгледаме дали да го понудиме Брзиот режим и за други производи, покрај нашите најнови модели.

Како функционираат другите модалитети со Брзиот режим?

Брзиот режим ги поддржува истите мултимодални можности што се достапни со Стандардниот режим. Конкретно, сликите може да се користат како влезни податоци за Приоритетната обработка и се обработуваат со истата кратка латентност.

Дали ќе бидат поддржани идните модели?

Планираме да го понудиме Брзиот режим за новите модели GPT, но не гарантираме дека секој модел ќе биде поддржан.

Ограничувања на брзината

Кои се ограничувањата на брзината?

За ограничувањата на брзината, користењето на Приоритетната обработка се третира исто како стандардниот сообраќај преку API.

Кои се ограничувањата на брзината на зголемување?

Брзиот режим има ограничувања на брзината на зголемување за да обезбеди постојано високи перформанси за сите корисници, а сепак да овозможи флексибилно плаќање по потреба. Ако (а) перформансите на Брзиот режим се намалени И (б) сообраќајот на корисникот се зголемува пребрзо, во ретки случаи некои барања може да се префрлат на Стандардна обработка.

Тековното ограничување на брзината на зголемување за Брзиот режим е дефинирано овде, во нашата основна документација.

Најдобри практики за да останете во рамките на ограничувањето на брзината на зголемување

Постепено зголемувајте го сообраќајот кога менувате модели. На пример, ако апликацијата преминува од претходна снимка на нова, користете ознака за функција за постепено да го пренасочувате сообраќајот во текот на неколку часа, наместо одеднаш.

Избегнувајте да извршувате обемна обработка на податоци или асинхрони задачи во Брзиот режим. Овие задачи може многу брзо да го зголемат сообраќајот, а честопати немаат потреба од подобрените перформанси на Брзиот режим.

Ако редовно ги достигнувате ограничувањата на брзината на зголемување, размислете наместо тоа да купите квота за Нивото на скалирање.

Дали ограничувањата на брзината на зголемување се заеднички за моите проекти или организации?

Да, целиот ваш сообраќај се засметува во истото ограничување на брзината на зголемување.

Правила

Што се случува ако Брзиот режим не ја исполнува целната латентност?

Ако имате прашања или грижи, обратете се кај вашиот AD. SLA за Брзиот режим ќе се третираат исто како SLA за Нивото на скалирање. Ако не ги исполниме тие SLA во даден временски период, на корисниците со договори Enterprise ќе им бидат понудени кредити за услугата.

Дали Брзиот режим е компатибилен со местото на чување на податоците?

Да.

Дали Брзиот режим е компатибилен со ZDR и BAA?

Да.