Ako to funguje

Zákazníci môžu smerovať prenosy do rýchleho režimu pre každú požiadavku samostatne pomocou existujúceho parametra service_tier s možnosťou service_tier = "fast".

Tokeny spracované v rýchlom režime sa budú účtovať za každý token, a to za vyššiu cenu než pri štandardnom spracovaní.

Okrem nastavenia na úrovni požiadavky môžete rýchly režim nastaviť ako predvolený aj v časti Nastavenia projektu > Predvolená úroveň služby: Rýchla. Toto nastavenie môžete naďalej prepísať pre každú požiadavku. Výber možnosti Rýchla v nastaveniach projektu je rovnocenný s výberom možnosti Prioritná.

Ako rýchly režim funguje s úrovňou škálovania?

Úroveň škálovania zostane oddelená od rýchleho režimu. Požiadavky odoslané do rýchleho režimu sa budú účtovať samostatne a nezapočítajú sa do zakúpených balíkov TPM úrovne škálovania.

Môžem prebytočné prenosy z úrovne škálovania automaticky odosielať do rýchleho režimu?

Nie. Prenosy odoslané na úroveň škálovania sa nepresmerujú automaticky do rýchleho režimu.

Ako sa účtuje rýchly režim?

Tokeny spracované v rýchlom režime sa budú účtovať za každý token, a to za vyššiu cenu než pri štandardnom spracovaní.

Viaže sa môj ročný záväzok na konkrétny režim spracovania?

Nie. Do vášho ročného záväzku výdavkov na Enterprise sa započítavajú všetky režimy spracovania.

Mám naďalej zľavu na tokeny vstupu z vyrovnávacej pamäte?

Áno! Na vstupy z vyrovnávacej pamäte sa vzťahuje rovnaká zľava 50 – 75 % ako pri štandardnom spracovaní.

Ako si zobrazím využitie rýchleho režimu a výdavky naň?

Ak chcete zobraziť tokeny spracované v rýchlom režime (predtým prioritné spracovanie), prejdite na panel Využitie, vyberte Chat Completions alebo Responses a potom Zoskupiť podľa úrovne služby.

Ak chcete zobraziť náklady na rýchly režim, prejdite na panel Využitie a vyberte Zoskupiť podľa položky.

Na paneli Využitie sa požiadavky s hodnotou priority alebo fast pre service_tier budú naďalej zobrazovať ako priority. Pri budúcich modeloch sa to zmení.

Modely

Je rýchly režim dostupný pre dlhý kontext, doladené modely, vnorenia a podobne?

Momentálne nie. V budúcnosti posúdime, či rýchly režim ponúkneme aj pre ďalšie produkty nad rámec našich najnovších modelov.

Ako fungujú s rýchlym režimom ostatné modality?

Rýchly režim podporuje rovnaké multimodálne funkcie ako štandardné spracovanie. Pri prioritnom spracovaní možno ako vstupy používať najmä obrázky, ktoré sa spracujú s rovnako nízkou latenciou.

Budú podporované aj budúce modely?

Rýchly režim plánujeme ponúkať pre nové modely GPT, nezaručujeme však podporu každého modelu.

Limity požiadaviek

Aké sú limity požiadaviek?

Spotreba prioritného spracovania sa pri limitoch požiadaviek posudzuje rovnako ako štandardné prenosy API.

Aké sú limity tempa nárastu?

Rýchly režim má limity tempa nárastu, ktoré všetkým zákazníkom zaisťujú stabilne vysoký výkon a zároveň umožňujú flexibilné účtovanie podľa potreby. Ak (a) sa zníži výkon rýchleho režimu A ZÁROVEŇ (b) prenosy zákazníka rastú príliš rýchlo, v ojedinelých prípadoch sa môžu niektoré požiadavky namiesto toho prepnúť na štandardné spracovanie.

Aktuálny limit tempa nárastu pre rýchly režim je uvedený tu v našej hlavnej dokumentácii.

Odporúčané postupy na dodržanie limitu tempa nárastu

Pri zmene modelov zvyšujte prenosy postupne. Ak napríklad vaša aplikácia prechádza z predchádzajúcej snímky na novú, použite príznak funkcie a prenosy presúvajte postupne počas niekoľkých hodín, nie všetky naraz.

V rýchlom režime nespúšťajte rozsiahle spracovanie údajov ani asynchrónne úlohy. Tieto úlohy môžu veľmi rýchlo zvýšiť prenosy a často nepotrebujú vyšší výkon rýchleho režimu.

Ak pravidelne narážate na limity tempa nárastu, zvážte radšej zakúpenie kvóty úrovne škálovania.

Sú limity tempa nárastu spoločné pre všetky moje projekty alebo organizácie?

Áno, všetky vaše prenosy sa započítavajú do rovnakého limitu tempa nárastu.

Zásady

Čo sa stane, ak rýchly režim nedosahuje cieľovú latenciu?

S otázkami alebo obavami sa obráťte na svojho AD. Na zmluvy SLA rýchleho režimu sa budú vzťahovať rovnaké podmienky ako na zmluvy SLA úrovne škálovania. Ak ich v danom časovom období nesplníme, zákazníkom so zmluvami Enterprise poskytneme servisné kredity.

Je rýchly režim kompatibilný s rezidenciou údajov?

Áno.

Je rýchly režim kompatibilný so ZDR a BAA?

Áno.