Mostantól elsőbbségi feldolgozást is kínálunk azon Enterprise API-ügyfeleknek, akik bizonyos modelleknél gyorsabb, egyenletesebb teljesítményt szeretnének. Alább választ talál a működéssel, az árazással, a modell-elérhetőséggel, a sebességkorlátokkal, a megbízhatósággal, a szabályzatokkal és a jogosultsággal kapcsolatos gyakori kérdésekre.

További információ itt.

Hozzáférés

Ki férhet hozzá az elsőbbségi feldolgozáshoz?

Az elsőbbségi feldolgozás jelenleg Enterprise ügyfelek számára érhető el.

Az elsőbbségi feldolgozás minden régióban elérhető?

Az elsőbbségi feldolgozás elérhetősége az egyes joghatóságokban alkalmazandó jogszabályoktól és előírásoktól függ. Ha kérdése van a régiójában való elérhetőséggel kapcsolatban, kérjük, forduljon Account Directorjához.

Árazás

Hogyan kezdhetem el használni az elsőbbségi feldolgozást?

Az ügyfelek kérésenként irányíthatják a forgalmat az elsőbbségi feldolgozásra a meglévő service_tier paraméter használatával, a service_tier="priority" opcióval.

Hogyan kapcsolódik ez a Scale Tierhez?

A Scale Tier továbbra is elkülönül az elsőbbségi feldolgozástól. Az elsőbbségi feldolgozásra küldött kérések külön kerülnek számlázásra, és nem számítanak bele a megvásárolt Scale Tier TPM-csomagokba.

Automatikusan átküldhetem a Scale Tier túlcsorduló forgalmát az elsőbbségi feldolgozásra?

Nem. A Scale Tierre küldött forgalom nem kerül automatikusan át az elsőbbségi feldolgozásra.

Hogyan történik az elsőbbségi feldolgozás számlázása?

Az elsőbbségi feldolgozással kiszolgált tokenek számlázása tokenenként történik, a standard feldolgozási díjakhoz képest feláras áron.

Az éves kötelezettségvállalásom egy adott feldolgozási módhoz van kötve?

Nem. Minden feldolgozási mód beleszámít az éves Enterprise költési kötelezettségvállalásába.

Továbbra is kapok kedvezményt a gyorsítótárazott bemeneti tokenekre?

Igen! A gyorsítótárazott bemenetek ugyanazt az 50–75%-os kedvezményt kapják, mint a standard feldolgozásban.

Hogyan tekinthetem meg az elsőbbségi feldolgozás használatát és költését?

Az elsőbbségi feldolgozással feldolgozott tokenek megtekintéséhez nyissa meg a Használat irányítópultot, válassza a Chat Completions vagy a Responses lehetőséget, majd a Group by Service Tier opciót. Az elsőbbségi feldolgozás költségének megtekintéséhez nyissa meg a Használat irányítópultot, és válassza a Group by Line Item opciót.

Modellek

Elérhető az elsőbbségi feldolgozás hosszú kontextushoz, finomhangolt modellekhez, embeddingekhez stb.?

Jelenleg nem. A jövőben megvizsgáljuk, hogy a legújabb modelljeinken túl további termékekhez is kínáljunk-e elsőbbségi feldolgozást.

Hogyan működnek más modalitások az elsőbbségi feldolgozással?

Az elsőbbségi feldolgozás ugyanazokat a multimodális képességeket támogatja, amelyek standard módban is elérhetők. Különösen, a képek bemenetként használhatók az elsőbbségi feldolgozásban, és ugyanazzal az alacsony késleltetéssel kerülnek feldolgozásra.

Támogatottak lesznek a jövőbeli modellek?

Tervezzük, hogy új GPT modelleken is kínálunk elsőbbségi feldolgozást, de nem garantáljuk, hogy minden modell támogatott lesz.

Sebességkorlátok

Mik a sebességkorlátok?

Az elsőbbségi feldolgozás fogyasztását a sebességkorlátok szempontjából ugyanúgy kezeljük, mint a standard API-forgalmat.

Mik a felfutási sebességkorlátok?

Az elsőbbségi feldolgozás felfutási sebességkorlátokkal rendelkezik, hogy minden ügyfél számára következetesen magas teljesítményt biztosítson, miközben rugalmas, igény szerinti árazást kínál. Ha (a) az elsőbbségi feldolgozás teljesítménye romlik ÉS (b) egy ügyfél forgalma túl gyorsan fut fel, akkor ritka esetekben egyes elsőbbségi kérések helyette standard feldolgozásra minősülhetnek vissza.

Az elsőbbségi feldolgozás aktuális felfutási sebességkorlátját elsődleges dokumentációnk itt definiálja.

Ajánlott gyakorlatok a felfutási sebességkorlát betartásához

Modellek váltásakor fokozatosan növelje a forgalmat. Például ha az alkalmazása egy korábbi snapshotról egy újra áll át, használjon feature flaget, és a forgalmat néhány óra alatt vezesse át, ne egyszerre az egészet.
Kerülje nagy adatfeldolgozási vagy aszinkron feladatok futtatását elsőbbségi feldolgozáson. Ezek a feladatok nagyon gyorsan felfuttathatják a forgalmat, és gyakran nincs szükségük az elsőbbségi feldolgozás jobb teljesítményére.
Ha rendszeresen eléri a felfutási sebességkorlátot, fontolja meg inkább Scale tier kvóta vásárlását.

A felfutási sebességkorlátok megosztottak a projektjeim vagy szervezeteim között?

Igen, az összes forgalma ugyanahhoz a felfutási sebességkorláthoz járul hozzá.

Szabályzatok

Mi történik, ha az elsőbbségi feldolgozás nem teljesíti a késleltetési célértéket?

Bármilyen kérdés vagy aggály esetén forduljon az AD-jéhez. Az elsőbbségi feldolgozás SLA-it ugyanúgy kezeljük, mint a Scale Tier SLA-it; szolgáltatási jóváírást kínálunk, ha adott időablakban nem teljesítjük ezeket az SLA-kat az Enterprise szerződéssel rendelkező ügyfelek számára.

Kompatibilis az elsőbbségi feldolgozás a adatok tárolási helye követelményeivel?

Igen.

Kompatibilis az elsőbbségi feldolgozás a ZDR-rel és a BAA-val?