Jak to funguje

Zákazníci mohou jednotlivé požadavky směrovat do Rychlého režimu pomocí stávajícího parametru service_tier s hodnotou service_tier = "fast".

Tokeny zpracované v Rychlém režimu se účtují jednotlivě za vyšší cenu než při standardním zpracování.

Kromě nastavení na úrovni požadavku můžete Rychlý režim nastavit jako výchozí také v Nastavení projektu > Výchozí úroveň služeb: Rychlá. Nastavení můžete nadále přepsat u každého požadavku. Výběr možnosti Rychlá v nastavení projektu odpovídá výběru možnosti Prioritní.

Jak Rychlý režim funguje s úrovní škálování?

Úroveň škálování zůstane od Rychlého režimu oddělená. Požadavky odeslané do Rychlého režimu budou účtovány samostatně a nebudou se započítávat do zakoupených balíčků TPM úrovně škálování.

Mohu přebytečný provoz z úrovně škálování automaticky odesílat do Rychlého režimu?

Ne. Provoz odeslaný do úrovně škálování nebude automaticky přesměrován do Rychlého režimu.

Jak se Rychlý režim účtuje?

Tokeny zpracované v Rychlém režimu se účtují jednotlivě za vyšší cenu než při standardním zpracování.

Vztahuje se můj roční závazek ke konkrétnímu režimu zpracování?

Ne. Do ročního závazku útraty v tarifu Enterprise se započítávají všechny režimy zpracování.

Mám nadále nárok na slevu za tokeny ze vstupu uloženého v mezipaměti?

Ano! Na vstupy uložené v mezipaměti se vztahuje stejná sleva 50–75 % jako při standardním zpracování.

Jak zobrazím využití Rychlého režimu a související útratu?

Tokeny zpracované v Rychlém režimu (dříve Prioritní zpracování) zobrazíte tak, že na řídicím panelu Využití vyberete Chat Completions nebo Responses a seskupení podle úrovně služeb.

Náklady na Rychlý režim zobrazíte tak, že na řídicím panelu Využití vyberete seskupení podle položky.

Požadavky s hodnotou priority nebo fast parametru service_tier se budou na řídicím panelu Využití nadále zobrazovat jako priority. U budoucích modelů bude toto označení aktualizováno.

Modely

Je Rychlý režim dostupný pro dlouhý kontext, doladěné modely, embeddingy a podobně?

V tuto chvíli ne. V budoucnu vyhodnotíme, zda Rychlý režim nabídnout kromě nejnovějších modelů také pro další produkty.

Jak v Rychlém režimu fungují ostatní modality?

Rychlý režim podporuje stejné multimodální funkce jako standardní zpracování. Jako vstup pro Prioritní zpracování lze používat zejména obrázky, které se zpracují se stejně nízkou latencí.

Budou podporovány i budoucí modely?

Rychlý režim plánujeme nabízet u nových modelů GPT, nezaručujeme však podporu každého modelu.

Limity frekvence požadavků

Jaké jsou limity frekvence požadavků?

V rámci limitů frekvence požadavků se využití Prioritního zpracování posuzuje stejně jako standardní provoz API.

Jaké jsou limity tempa zvyšování frekvence požadavků?

Rychlý režim omezuje tempo zvyšování frekvence požadavků, aby všem zákazníkům zajišťoval trvale vysoký výkon a zároveň flexibilní ceny podle využití. Pokud (a) se výkon Rychlého režimu zhorší A ZÁROVEŇ (b) provoz zákazníka roste příliš rychle, mohou být některé požadavky ve výjimečných případech převedeny na standardní zpracování.

Aktuální limit tempa zvyšování frekvence požadavků v Rychlém režimu je uveden zde v naší hlavní dokumentaci.

Doporučené postupy pro dodržení limitu tempa zvyšování frekvence požadavků

Při změně modelů zvyšujte provoz postupně. Pokud například vaše aplikace přechází z předchozího snapshotu na nový, použijte příznak funkce a provoz převádějte postupně během několika hodin, nikoli najednou.

V Rychlém režimu nespouštějte rozsáhlé zpracování dat ani asynchronní úlohy. Tyto úlohy mohou provoz zvýšit velmi rychle a vyšší výkon Rychlého režimu často nepotřebují.

Pokud na limity tempa zvyšování frekvence požadavků narážíte pravidelně, zvažte místo toho nákup kvóty úrovně škálování.

Sdílejí mé projekty nebo organizace stejné limity tempa zvyšování frekvence požadavků?

Ano, veškerý váš provoz se započítává do stejného limitu tempa zvyšování frekvence požadavků.

Zásady

Co se stane, pokud Rychlý režim nesplňuje cílovou latenci?

S případnými dotazy nebo obavami se obraťte na svého obchodního ředitele. Smlouvy SLA Rychlého režimu se posuzují stejně jako smlouvy SLA úrovně škálování. Pokud je u zákazníků se smlouvou Enterprise v daném časovém období nesplníme, nabídneme jim servisní kredity.

Je Rychlý režim kompatibilní s datovou rezidencí?

Ano.

Je Rychlý režim kompatibilní se ZDR a BAA?

Ano.