Működés

Az ügyfelek kérésenként irányíthatják a forgalmat a Gyors módba a meglévő service_tier paraméter és a service_tier = "fast" beállítás használatával.

A Gyors módban feldolgozott tokenek után tokenenként kell fizetni, a normál feldolgozás díjainál magasabb áron.

A kérésenkénti beállítás mellett a projekt alapértelmezett módját is Gyors módra állíthatja a Projektbeállítások > Alapértelmezett szolgáltatási szint: Gyors menüpontban. Ezt továbbra is felülbírálhatja kérésenként. A projektbeállításokban a Gyors lehetőség kiválasztása egyenértékű a Priority kiválasztásával.

Hogyan működik ez együtt a Skálázási szinttel?

A Skálázási szint továbbra is elkülönül a Gyors módtól. A Gyors módba küldött kéréseket külön számlázzuk, és nem számítanak bele a megvásárolt Skálázási szint TPM-csomagjaiba.

Automatikusan a Gyors módba irányíthatom a Skálázási szint keretét meghaladó forgalmat?

Nem. A Skálázási szintre küldött, keretet meghaladó forgalom nem kerül automatikusan a Gyors módba.

Hogyan számlázzuk a Gyors módot?

A Gyors módban feldolgozott tokenek után tokenenként kell fizetni, a normál feldolgozás díjainál magasabb áron.

Az éves kötelezettségvállalásom egy adott feldolgozási módhoz kötődik?

Nem. Minden feldolgozási mód beleszámít az éves Enterprise költési kötelezettségvállalásába.

Továbbra is jár kedvezmény a gyorsítótárazott bemeneti tokenekre?

Igen! A gyorsítótárazott bemenetekre ugyanaz az 50–75%-os kedvezmény vonatkozik, mint a normál feldolgozásnál.

Hogyan tekinthetem meg a Gyors mód használatát és költségeit?

A Gyors módban (korábbi nevén Priority processing) feldolgozott tokenek megtekintéséhez nyissa meg a Használat irányítópultot, válassza a Chat Completions vagy a Responses lehetőséget, majd csoportosítson Szolgáltatási szint szerint.

A Gyors mód költségeinek megtekintéséhez nyissa meg a Használat irányítópultot, majd válassza a Csoportosítás tétel szerint lehetőséget.

A Használat irányítópulton továbbra is priority megjelöléssel jelennek meg azok a kérések, amelyeknél a service_tier értéke priority vagy fast. Ezt a jövőbeli modelleknél frissítjük.

Modellek

Elérhető a Gyors mód hosszú kontextushoz, finomhangolt modellekhez, beágyazásokhoz stb.?

Jelenleg nem. A jövőben megvizsgáljuk, hogy a legújabb modelljeinken túl további termékekhez is kínáljunk-e Gyors módot.

Hogyan működnek más modalitások a Gyors móddal?

A Gyors mód ugyanazokat a multimodális funkciókat támogatja, mint a normál feldolgozás. A képek bemenetként is használhatók a Priority processing során, és feldolgozásuk ugyanolyan gyors.

Támogatottak lesznek a jövőbeli modellek?

Terveink szerint az új GPT-modelleknél is kínálunk Gyors módot, de nem garantáljuk minden modell támogatását.

Használati korlátok

Mik a használati korlátok?

A használati korlátok szempontjából a Priority processing igénybevétele ugyanúgy számít, mint a normál API-forgalom.

Mik a forgalomnövelési használati korlátok?

A Gyors mód forgalomnövelési használati korlátokkal biztosítja az egyenletesen magas teljesítményt minden ügyfélnek, miközben rugalmas, igény szerinti árképzést kínál. Ha (a) romlik a Gyors mód teljesítménye, ÉS (b) egy ügyfél forgalma túl gyorsan nő, ritka esetekben egyes kérések ehelyett normál feldolgozásra válthatnak.

A Gyors mód aktuális forgalomnövelési használati korlátját az elsődleges dokumentációnk ismerteti itt.

Bevált módszerek a forgalomnövelési használati korlát betartásához

Modellváltáskor fokozatosan növelje a forgalmat. Ha például az alkalmazása egy korábbi pillanatképről egy újra áll át, funkciójelzővel néhány óra alatt, fokozatosan irányítsa át a forgalmat, ne egyszerre.

Ne futtasson nagy adatfeldolgozási vagy aszinkron feladatokat Gyors módban. Ezek a feladatok nagyon gyorsan növelhetik a forgalmat, és gyakran nincs szükségük a Gyors mód nagyobb teljesítményére.

Ha rendszeresen eléri a forgalomnövelési használati korlátokat, inkább fontolja meg Skálázási szinthez tartozó kvóta vásárlását.

A projektjeim és szervezeteim közösen használják a forgalomnövelési használati korlátot?

Igen, a teljes forgalma ugyanabba a forgalomnövelési használati korlátba számít bele.

Szabályzatok

Mi történik, ha a Gyors mód nem teljesíti a késleltetési célt?

Kérdéseivel vagy aggályaival forduljon ügyfélkapcsolati igazgatójához. A Gyors mód SLA-it ugyanúgy kezeljük, mint a Skálázási szint SLA-it; ha egy adott időszakban nem teljesítjük ezeket az SLA-kat az Enterprise-szerződéssel rendelkező ügyfeleknél, szolgáltatási jóváírást biztosítunk.

Kompatibilis a Gyors mód az adatok tárolási helyére vonatkozó követelményekkel?

Igen.

Kompatibilis a Gyors mód a ZDR-rel és a BAA-val?

Igen.