OpenAI
Ez az oldal gépi fordítással készült. Tekintsd meg az eredeti angol nyelvű cikket.

API Platform – Skálázási szint meglévő vállalati ügyfeleknek

Frissítve: 8 hours ago

Az API Platform Skálázási szintje lehetővé teszi, hogy előre megvásároljon percenként meghatározott számú API-bemeneti és -kimeneti tokent (ezeket „tokenegységeknek” nevezzük) egy dedikált modell-pillanatkép eléréséhez. Minden tokenegységet legalább 30 napra kell megvásárolni.

Miután aláírta a megrendelőlapot, tokenegységeket adhat hozzá és távolíthat el az API Platform-fiókjában. Felhívjuk figyelmét, hogy a Skálázási szint beállításait és a bemeneti és kimeneti tokenegységek vásárlását csak a szervezet tulajdonosai és a jogosult felhasználók láthatják.

Tudjon meg többet a Skálázási szint árazásáról.

Hogyan érhetem el a Skálázási szint beállításait?

Az API Platform szervezeti tulajdonosai a Skálázási szint beállításait az oldal jobb felső sarkában található Beállítások fogaskerék kiválasztásával érhetik el, majd a képernyő bal oldalán lévő menü „Organization” szakaszában a Scale Tier lehetőséget választva.

Image

A Skálázási szint beállítási oldala lehetővé teszi, hogy további kapacitást adjon hozzá, megtekintse a bemeneti tokenhasználatot, megtervezze a kapacitást, megtekintse a lefoglalt tokeneket, és áttekintse a jogosult vásárlókat.

Hogyan vásárolhatok több kapacitást?

Kapacitást a Skálázási szint oldal jobb felső sarkában található Add capacity gomb kiválasztásával vásárolhat. Kérjük, tekintse meg a Skálázási szint főoldalát a bemeneti és kimeneti tokenegységenkénti TPM-jogosultságok legfrissebb részleteiért.

Miután kiválasztotta a megvásárolni kívánt tokenek típusát, közvetlenül megadhat egy mennyiséget, vagy a csúszkával kiválaszthatja a megvásárolni kívánt tokenek számát. A csúszka lehetővé teszi, hogy a tokenek módosításakor a Summary alatt könnyen megtekintse a TPM-változásokat. Emellett javaslatot is adunk arra, hány egységet érdemes vásárolni az elmúlt 30 nap forgalmának lefedésére.

Add token capacity dialog for gpt-4o with Input Tokens selected and input limit increasing from 40K to 60K

Miután véglegesítette a választását, a következő modális ablakban a vásárlás megerősítéséhez válassza a Checkout lehetőséget.

Felhívjuk figyelmét, hogy az összefoglalóban megjelenített árak a standard díjszabásaink, és nem tartalmazzák a szervezet megrendelőlapján kialkudott kedvezményeket. Az esetleges kedvezmények alkalmazásra kerülnek, és a szervezet részére kiállított számlán jelennek meg. A megvásárolt egységek a következő számlázási időszak kezdetéig maradnak aktívak, azt követően pedig naponta megújulnak.

Hogyan engedélyezhetem, hogy a hívások Skálázási szintű tokeneket használjanak?

A Projektbeállításokban a Scale Tier Enabled kapcsolót be kell kapcsolnia.

Ha a Completions API-t használja, kérjük, tekintse meg a dokumentációt is, amely a service_tier kulcsot ismerteti, hogy eldönthesse, ezt kézzel kell-e beállítania, vagy a alapértelmezett működésre támaszkodhat.

A Responses API-hívások alapértelmezés szerint a service_tier=auto beállítást használják. Ha egy projektben a Scale Tier Enabled be van kapcsolva, akkor azok a kérések, amelyek nem adják meg a service_tier értékét (vagy az auto értéket használják), alapértelmezés szerint a Skálázási szintet fogják használni, amikor rendelkezésre áll Skálázási szintű kvóta. A service_tier=default beállítású kérések megosztott/PAYG számítási kapacitást használnak.

Hogyan tekinthetem meg a vásárlási előzményeimet és a lejárt tokeneket?

A Skálázási szint oldalán a Provisioned tokens alatt kiválasztott modellel megtekintheti a Skálázási szint vásárlási előzményeit.

Provisioned tokens table with active allocations for gpt-4o and gpt-4o-mini

Miután kiválaszt egy modellt, az oldal alján megtekintheti az Expired tokens és a Prior transactions elemeket.

Image

Hogyan szerkeszthetem a tokenkapacitásomat?

Egy modell tokenkapacitását úgy szerkesztheti, hogy a Skálázási szint oldalán a Provisioned tokens alatt kiválaszt egy modellt. Miután kiválasztott egy modellt, keresse meg a vásárlását az Active fejléc alatt, majd a szerkesztéshez válassza a vásárlás melletti Cancel lehetőséget

Image

A modális ablakban közvetlenül megadhatja a lemondandó egységek számát, vagy a csúszkával modellezheti a TPM-et, miközben kiválasztja az értéket.

Edit Token Capacity dialog for gpt-4o canceling 1 package and reducing output limit TPM from 2.248M to 2.246M

Hogyan tekinthetem meg a Skálázási szint RPM/TPM értékeit és használatát?

A szervezete API-használatának összefoglalóját a Skálázási szint oldalán tekintheti meg. Minden dátum és idő UTC-alapú, és az adatok akár 5 percet is késhetnek.

Input token usage chart for the last 30 days with several spikes and a peak near 700K

A használatot az Activity Usage Dashboardon tekintheti át, ha a modellek legördülő menüjében kiválasztja a Skálázási szintű modelljeit. Ezeket az adatokat 30 napos, 1 napos és 15 perces időablakban tekintheti meg. A használati adatok halmozottan jelennek meg, hogy megmutassák, a modell használatának mekkora részét fedezi a Skálázási szint, és mekkora részét a fiókcsomagja.

Felhívjuk figyelmét, hogy a Usage Dashboardot csak a szervezet tulajdonosai tekinthetik meg.

Mikor jelenik meg a tokenkapacitás módosítása a használati irányítópulton?

Akár 24 óra is eltelhet, mire az elvégzett módosítások megjelennek. Maguk a változások azonban szinte azonnal életbe lépnek.

Hasznos volt ez a cikk?