Teraz ponúkame prioritné spracovanie pre zákazníkov Enterprise API, ktorí chcú prístup k rýchlejšiemu a konzistentnejšiemu výkonu pri určitých modeloch. Nižšie nájdete odpovede na časté otázky o tom, ako funguje, o cenách, dostupnosti modelov, limitoch požiadaviek, spoľahlivosti, zásadách a oprávnenosti.

Viac sa dozviete tu.

Prístup

Kto má prístup k prioritnému spracovaniu?

Prioritné spracovanie je momentálne dostupné zákazníkom Enterprise.

Je prioritné spracovanie dostupné vo všetkých regiónoch?

Dostupnosť prioritného spracovania závisí od príslušných zákonov a predpisov v každej jurisdikcii. Ak máte otázky o dostupnosti vo svojom regióne, kontaktujte svojho Account Directora.

Ceny

Ako začnem používať prioritné spracovanie?

Zákazníci môžu smerovať prevádzku do prioritného spracovania pre každú požiadavku samostatne pomocou existujúceho parametra service_tier s možnosťou service_tier="priority".

Ako to súvisí s úrovňou škálovania?

Úroveň škálovania zostane oddelená od prioritného spracovania. Požiadavky odoslané na prioritné spracovanie sa budú účtovať samostatne a nebudú sa započítavať do vašich zakúpených balíkov TPM úrovne škálovania.

Môžem automaticky odosielať prebytočnú prevádzku z úrovne škálovania do prioritného spracovania?

Nie. Prevádzka odoslaná do úrovne škálovania sa automaticky nepresmeruje do prioritného spracovania.

Ako sa účtuje prioritné spracovanie?

Tokeny obslúžené prioritným spracovaním sa budú účtovať za token, s prémiovou cenou v porovnaní so sadzbami štandardného spracovania.

Je môj ročný záväzok viazaný na konkrétny režim spracovania?

Nie. Všetky režimy spracovania sa započítavajú do vášho ročného výdavkového záväzku Enterprise.

Získam aj naďalej zľavu na tokeny vstupu z vyrovnávacej pamäte?

Áno! Na vstupy z vyrovnávacej pamäte sa vzťahuje rovnaká zľava 50 – 75 % ako pri štandardnom spracovaní.

Ako si zobrazím používanie a výdavky na prioritné spracovanie?

Ak chcete zobraziť tokeny spracované prioritným spracovaním, prejdite na panel Používanie, vyberte Chat Completions alebo Responses a zoskupte podľa úrovne služby. Ak chcete zobraziť náklady na prioritné spracovanie, prejdite na panel Používanie a vyberte zoskupenie podľa riadkovej položky.

Modely

Je prioritné spracovanie dostupné pre dlhý kontext, doladené modely, embeddings atď.?

Momentálne nie. V budúcnosti posúdime, či ponúkneme prioritné spracovanie aj pri ďalších produktoch nad rámec našich najnovších modelov.

Ako fungujú ďalšie modality s prioritným spracovaním?

Prioritné spracovanie podporuje rovnaké multimodálne možnosti, aké sú dostupné v štandardnom spracovaní. Konkrétne možno obrázky použiť ako vstupy do prioritného spracovania a spracúvajú sa s rovnako nízkou latenciou.

Budú podporované budúce modely?

Plánujeme ponúkať prioritné spracovanie pre nové modely GPT, ale nezaručujeme, že bude podporovaný každý model.

Limity požiadaviek

Aké sú limity požiadaviek?

Spotreba prioritného spracovania sa pri limitoch požiadaviek posudzuje rovnako ako štandardná prevádzka API.

Aké sú limity rýchlosti nábehu požiadaviek?

Prioritné spracovanie má limity rýchlosti nábehu požiadaviek, aby zabezpečilo trvalo vysoký výkon pre všetkých zákazníkov a zároveň poskytovalo flexibilné ceny na požiadanie. Ak (a) je výkon prioritného spracovania znížený A (b) prevádzka zákazníka narastá príliš rýchlo, v zriedkavých prípadoch môžu byť niektoré prioritné požiadavky namiesto toho preradené na štandardné spracovanie.

Aktuálny limit rýchlosti nábehu požiadaviek pre prioritné spracovanie je definovaný v našej hlavnej dokumentácii tu.

Osvedčené postupy, ako zostať v rámci limitu rýchlosti nábehu požiadaviek

Pri zmene modelov zvyšujte prevádzku postupne. Ak napríklad vaša aplikácia prechádza z predchádzajúceho snapshotu na nový, použite prepínač funkcie na presun prevádzky v priebehu niekoľkých hodín namiesto naraz.

Vyhnite sa spúšťaniu veľkých úloh spracovania údajov alebo asynchrónnych úloh v prioritnom spracovaní. Tieto úlohy môžu veľmi rýchlo zvýšiť prevádzku a často nepotrebujú vyšší výkon prioritného spracovania.
Ak sa bežne stretávate s limitmi rýchlosti nábehu požiadaviek, zvážte namiesto toho zakúpenie kvóty úrovne škálovania.

Zdieľajú sa limity rýchlosti nábehu požiadaviek naprieč mojimi projektmi alebo organizáciami?

Áno, celá vaša prevádzka prispieva k rovnakému limitu rýchlosti nábehu požiadaviek.

Zásady

Čo sa stane, ak prioritné spracovanie nespĺňa cieľ latencie?

S akýmikoľvek otázkami alebo obavami sa obráťte na svojho AD. SLA prioritného spracovania sa budú posudzovať rovnako ako SLA úrovne škálovania; ak počas daného časového okna nesplníme tieto SLA pre zákazníkov so zmluvami Enterprise, budú ponúknuté servisné kredity.

Je prioritné spracovanie kompatibilné s rezidenciou údajov?

Áno.

Je prioritné spracovanie kompatibilné so ZDR a BAA?