Vi erbjuder nu prioriterad bearbetning för Enterprise API-kunder som vill ha tillgång till snabbare och mer konsekvent prestanda på vissa modeller. Nedan finns svar på vanliga frågor om hur det fungerar, prissättning, modelltillgänglighet, frekvensgränser, tillförlitlighet, policyer och behörighet.
Läs mer här.
Åtkomst
Vem kan få åtkomst till prioriterad bearbetning?
Prioriterad bearbetning är för närvarande tillgänglig för Enterprise-kunder.
Är prioriterad bearbetning tillgänglig i alla regioner?
Tillgängligheten för prioriterad bearbetning beror på tillämpliga lagar och förordningar i varje jurisdiktion. Kontakta din Account Director om du har frågor om tillgänglighet i din region.
Prissättning
Hur börjar jag använda prioriterad bearbetning?
Kunder kan dirigera trafik till prioriterad bearbetning per begäran med den befintliga parametern service_tier, med alternativet service_tier="priority".
Hur samverkar detta med Skalningsnivå?
Skalningsnivå kommer att förbli separat från prioriterad bearbetning. Begäranden som skickas till prioriterad bearbetning faktureras separat och räknas inte av mot dina köpta TPM-paket för Skalningsnivå.
Kan jag automatiskt skicka min överflödestrafik från Skalningsnivå till prioriterad bearbetning?
Nej. Trafik som skickas till Skalningsnivå överförs inte automatiskt till prioriterad bearbetning.
Hur faktureras prioriterad bearbetning?
Token som hanteras av prioriterad bearbetning faktureras per token, med ett pris som ligger över priserna för standardbearbetning.
Är mitt årliga åtagande knutet till ett specifikt bearbetningsläge?
Nej. Alla bearbetningslägen räknas av mot ditt årliga Enterprise-utgiftsåtagande.
Får jag fortfarande rabatt på cachade indatatoken?
Ja! Cachade indata får samma rabatt på 50–75 % som vid standardbearbetning.
Hur visar jag min användning och mina utgifter för prioriterad bearbetning?
För att visa token som bearbetats med prioriterad bearbetning går du till användningspanelen, väljer Chat Completions eller Responses och grupperar efter Servicenivå. För att visa kostnaden för prioriterad bearbetning går du till användningspanelen och väljer Gruppera efter radpost.
Modeller
Är prioriterad bearbetning tillgänglig för lång kontext, finjusterade modeller, inbäddningar osv.?
Inte just nu. Vi kommer i framtiden att utvärdera om vi ska erbjuda prioriterad bearbetning för fler produkter utöver våra senaste modeller.
Hur fungerar andra modaliteter med prioriterad bearbetning?
Prioriterad bearbetning stöder samma multimodala funktioner som finns tillgängliga i Standard. I synnerhet kan bilder användas som indata till prioriterad bearbetning och bearbetas med samma låga latens.
Kommer framtida modeller att stödjas?
Vi planerar att erbjuda prioriterad bearbetning på nya GPT-modeller, men vi garanterar inte att alla modeller kommer att stödjas.
Frekvensgränser
Vilka är frekvensgränserna?
Förbrukning av prioriterad bearbetning behandlas på samma sätt som standard-API-trafik när det gäller frekvensgränser.
Vilka är upptrappningsfrekvensgränserna?
Prioriterad bearbetning har upptrappningsfrekvensgränser för att säkerställa konsekvent hög prestanda för alla kunder, samtidigt som flexibel prissättning på begäran erbjuds. Om (a) prestandan för prioriterad bearbetning är försämrad OCH (b) en kunds trafik ökar för snabbt, kan vissa Priority-begäranden i sällsynta fall nedgraderas till standardbearbetning i stället.
Den aktuella upptrappningsfrekvensgränsen för prioriterad bearbetning definieras i vår primära dokumentation här.
Bästa praxis för att hålla dig inom din upptrappningsfrekvensgräns
Öka trafiken gradvis när du byter modeller. Om din applikation till exempel går över från en tidigare ögonblicksbild till en ny kan du använda en funktionsflagga för att flytta över trafiken under några timmar i stället för allt på en gång.
Undvik att köra stora databehandlingsjobb eller asynkrona jobb med prioriterad bearbetning. Dessa jobb kan öka trafiken mycket snabbt och behöver ofta inte den förbättrade prestandan hos prioriterad bearbetning.
Om du regelbundet stöter på upptrappningsfrekvensgränser bör du överväga att köpa kvot för Skalningsnivå i stället.
Delas upptrappningsfrekvensgränser mellan mina projekt eller organisationer?
Ja, all din trafik bidrar till samma upptrappningsfrekvensgräns.
Policyer
Vad händer om prioriterad bearbetning inte uppfyller latensmålet?
Kontakta din AD om du har frågor eller funderingar. SLA:er för prioriterad bearbetning behandlas på samma sätt som SLA:er för Skalningsnivå; servicekrediter erbjuds om vi inte uppfyller dessa SLA:er för kunder med Enterprise-avtal under ett visst tidsfönster.
Är prioriterad bearbetning kompatibel med Datahemvist?
Ja.
Är prioriterad bearbetning kompatibel med ZDR och BAA?
Ja.