Så fungerar det

Kunder kan dirigera trafik till Snabbläge för varje enskild begäran med den befintliga parametern service_tier och alternativet service_tier = "fast".

Token som behandlas i Snabbläge debiteras per token till ett högre pris än standardbearbetning.

Förutom att konfigurera detta för enskilda begäranden kan du även ange Snabbläge som standard för ett projekt under Projektinställningar > Standardservicenivå: Snabb. Du kan fortfarande åsidosätta inställningen för enskilda begäranden. Att välja Snabb i projektinställningarna motsvarar att välja Prioriterad.

Hur fungerar detta tillsammans med Skalningsnivå?

Skalningsnivå förblir separat från Snabbläge. Begäranden som skickas till Snabbläge debiteras separat och räknas inte av från dina köpta TPM-paket för Skalningsnivå.

Kan jag automatiskt skicka överskjutande trafik från Skalningsnivå till Snabbläge?

Nej. Trafik som skickas till Skalningsnivå flyttas inte automatiskt över till Snabbläge.

Hur debiteras Snabbläge?

Token som behandlas i Snabbläge debiteras per token till ett högre pris än standardbearbetning.

Är mitt årliga åtagande knutet till ett visst bearbetningsläge?

Nej. Alla bearbetningslägen räknas av från ditt årliga utgiftsåtagande för Enterprise.

Får jag fortfarande rabatt på cachade indatatoken?

Ja! Cachad indata får samma rabatt på 50–75 % som vid standardbearbetning.

Hur ser jag min användning och mina kostnader för Snabbläge?

Om du vill se token som bearbetats i Snabbläge (tidigare Prioriterad bearbetning) går du till instrumentpanelen Användning, väljer Chat Completions eller Responses och sedan Gruppera efter servicenivå.

Om du vill se kostnaden för Snabbläge går du till instrumentpanelen Användning och väljer Gruppera efter radpost.

På instrumentpanelen Användning visas begäranden med antingen priority eller fast som service_tier fortfarande som priority. Detta kommer att uppdateras för framtida modeller.

Modeller

Är Snabbläge tillgängligt för långa kontexter, finjusterade modeller, inbäddningar med mera?

Inte för närvarande. Vi kommer framöver att utvärdera om Snabbläge ska erbjudas för fler produkter utöver våra senaste modeller.

Hur fungerar andra modaliteter med Snabbläge?

Snabbläge stöder samma multimodala funktioner som är tillgängliga med Standard. Bilder kan i synnerhet användas som indata vid Prioriterad bearbetning och behandlas med samma korta svarstid.

Kommer framtida modeller att stödjas?

Vi planerar att erbjuda Snabbläge för nya GPT-modeller, men garanterar inte att alla modeller kommer att stödjas.

Frekvensgränser

Vilka frekvensgränser gäller?

För frekvensgränser behandlas användning av Prioriterad bearbetning på samma sätt som vanlig API-trafik.

Vilka gränser gäller för ökningstakten?

Snabbläge har gränser för ökningstakten för att säkerställa en jämn och hög prestanda för alla kunder, samtidigt som flexibel prissättning efter behov erbjuds. Om (a) prestandan i Snabbläge är försämrad OCH (b) en kunds trafik ökar för snabbt kan vissa begäranden i sällsynta fall nedgraderas till standardbearbetning.

Den aktuella gränsen för ökningstakten i Snabbläge anges i vår huvudsakliga dokumentation här.

Bästa praxis för att hålla dig inom gränsen för ökningstakten

Öka trafiken gradvis när du byter modell. Om din applikation till exempel går över från en tidigare ögonblicksversion till en ny bör du använda en funktionsflagga för att flytta trafiken under några timmar i stället för allt på en gång.

Undvik att köra omfattande databehandling eller asynkrona jobb i Snabbläge. Sådana jobb kan öka trafiken mycket snabbt och behöver ofta inte den högre prestandan i Snabbläge.

Om du regelbundet når gränsen för ökningstakten bör du överväga att köpa en kvot för Skalningsnivå i stället.

Delas gränserna för ökningstakten mellan mina projekt eller organisationer?

Ja, all din trafik räknas mot samma gräns för ökningstakten.

Policyer

Vad händer om Snabbläge inte uppfyller målet för svarstid?

Kontakta din AD om du har frågor eller funderingar. SLA:er för Snabbläge behandlas på samma sätt som SLA:er för Skalningsnivå. Om vi inte uppfyller dessa SLA:er under en viss tidsperiod erbjuds servicekrediter till kunder med Enterprise-avtal.

Är Snabbläge kompatibelt med Datahemvist?

Ja.

Är Snabbläge kompatibelt med ZDR och BAA?

Ja.