Mostantól Prioritásos feldolgozást kínálunk azoknak az Enterprise API-ügyfeleknek, akik bizonyos modellek esetén gyorsabb és egységesebb teljesítményt szeretnének elérni. Az alábbiakban választ talál a működéssel, az árazással, a modellek elérhetőségével, a használati korlátokkal, a megbízhatósággal, az irányelvekkel és a jogosultsággal kapcsolatos gyakori kérdésekre.
Tudjon meg többet itt.
Hozzáférés
Ki férhet hozzá a Prioritásos feldolgozáshoz?
A Prioritásos feldolgozás jelenleg Enterprise-ügyfelek számára érhető el.
A Prioritásos feldolgozás minden régióban elérhető?
A Prioritásos feldolgozás elérhetősége az egyes joghatóságokban alkalmazandó törvényektől és szabályozásoktól függ. Ha kérdése van a régiójában való elérhetőséggel kapcsolatban, forduljon az Account Directorához.
Árazás
Hogyan kezdhetem el használni a Prioritásos feldolgozást?
Az ügyfelek kérésenként irányíthatják a forgalmat a Prioritásos feldolgozásra a meglévő service_tier paraméter használatával, a service_tier="priority" opcióval.
Hogyan működik ez együtt a Skálázási szinttel?
A Skálázási szint továbbra is elkülönül a Prioritásos feldolgozástól. A Prioritásos feldolgozásra küldött kéréseket külön számlázzuk, és nem számítanak bele a megvásárolt Skálázási szint TPM-csomagjaiba.
Automatikusan elküldhetem a Skálázási szint túlcsorduló forgalmát a Prioritásos feldolgozásra?
Nem. A Skálázási szintre küldött forgalom nem fog automatikusan átcsordulni a Prioritásos feldolgozásra.
Hogyan számlázzák a Prioritásos feldolgozást?
A Prioritásos feldolgozással kiszolgált tokeneket tokenenként számlázzuk, a Standard feldolgozás díjaihoz képest felárral.
Az éves kötelezettségvállalásom egy adott feldolgozási módhoz kötődik?
Nem. Minden feldolgozási mód beleszámít az éves Enterprise költési kötelezettségvállalásába.
Továbbra is kapok kedvezményt a gyorsítótárazott bemeneti tokenekre?
Igen! A gyorsítótárazott bemenetek ugyanazt az 50–75%-os kedvezményt kapják, mint a Standard feldolgozás esetén.
Hogyan tekinthetem meg a Prioritásos feldolgozás használatát és költségeit?
A Prioritásos feldolgozással feldolgozott tokenek megtekintéséhez nyissa meg a Használat irányítópultot, válassza a Chat Completions vagy a Responses lehetőséget, majd csoportosítson Szolgáltatási szint szerint. A Prioritásos feldolgozás költségének megtekintéséhez nyissa meg a Használat irányítópultot, és válassza a Csoportosítás tételsor szerint lehetőséget.
Modellek
Elérhető a Prioritásos feldolgozás hosszú kontextushoz, finomhangolt modellekhez, beágyazásokhoz stb.?
Jelenleg nem. A jövőben megvizsgáljuk, hogy a legújabb modelljeinken túl további termékekhez is kínáljunk-e Prioritásos feldolgozást.
Hogyan működnek más modalitások a Prioritásos feldolgozással?
A Prioritásos feldolgozás ugyanazokat a multimodális képességeket támogatja, amelyek a Standardban elérhetők. Különösen a képek használhatók bemenetként a Prioritásos feldolgozáshoz, és ugyanazzal a gyors késleltetéssel dolgozzuk fel őket.
Támogatottak lesznek a jövőbeli modellek?
Tervezzük, hogy Prioritásos feldolgozást kínálunk az új GPT-modellekhez, de nem garantáljuk, hogy minden modell támogatott lesz.
Használati korlátok
Mik a használati korlátok?
A Prioritásos feldolgozás fogyasztása a használati korlátok szempontjából ugyanúgy kezelendő, mint a standard API-forgalom.
Mik a forgalomnövelési használati korlátok?
A Prioritásos feldolgozás forgalomnövelési használati korlátokkal rendelkezik, hogy minden ügyfél számára következetesen magas teljesítményt biztosítson, miközben rugalmas, igény szerinti árazást nyújt. Ha (a) a Prioritásos feldolgozás teljesítménye romlik ÉS (b) egy ügyfél forgalma túl gyorsan növekszik, ritka esetekben egyes Prioritásos kérések ehelyett Standard feldolgozásra válthatnak vissza.
A Prioritásos feldolgozás aktuális forgalomnövelési használati korlátját az elsődleges dokumentációnk határozza meg itt.
Bevált gyakorlatok a forgalomnövelési használati korláton belül maradáshoz
Modellváltáskor fokozatosan növelje a forgalmat. Ha például az alkalmazása egy korábbi pillanatképről egy újra áll át, használjon funkciójelzőt, hogy a forgalmat néhány óra alatt vezesse át, ne egyszerre.
Kerülje a nagy adatfeldolgozási vagy aszinkron feladatok futtatását Prioritásos feldolgozással. Ezek a feladatok nagyon gyorsan növelhetik a forgalmat, és gyakran nincs szükségük a Prioritásos feldolgozás jobb teljesítményére.
Ha rendszeresen beleütközik forgalomnövelési használati korlátokba, fontolja meg inkább Skálázási szint kvóta vásárlását.
A forgalomnövelési használati korlátok megosztottak a projektjeim vagy szervezeteim között?
Igen, az összes forgalma ugyanahhoz a forgalomnövelési használati korláthoz járul hozzá.
Irányelvek
Mi történik, ha a Prioritásos feldolgozás nem teljesíti a késleltetési célt?
Kérdéseivel vagy aggályaival forduljon az AD-jéhez. A Prioritásos feldolgozás SLA-it ugyanúgy kezeljük, mint a Skálázási szint SLA-it; szolgáltatási krediteket kínálunk, ha egy adott időablakban nem teljesítjük ezeket az SLA-kat az Enterprise megállapodással rendelkező ügyfelek számára.
Kompatibilis a Prioritásos feldolgozás az adatok tárolási helyével?
Igen.
Kompatibilis a Prioritásos feldolgozás a ZDR-rel és a BAA-val?
Igen.