OpenAI
Tato stránka byla přeložena strojově. Zobrazit původní článek v angličtině.

API Platforma – úroveň škálování pro stávající podnikové zákazníky

Aktualizováno: 2 days ago

Úroveň škálování na API Platformě vám umožňuje předem zakoupit stanovený počet vstupních a výstupních API tokenů za minutu (tzv. „tokenové jednotky“) pro přístup k jednomu vyhrazenému snapshotu modelu. Každá tokenová jednotka se kupuje minimálně na 30 dní.

Po podepsání objednávkového formuláře můžete ve svém účtu API Platformy přidávat a odebírat tokenové jednotky. Upozorňujeme, že nastavení úrovně škálování a nákup vstupních a výstupních tokenových jednotek mohou zobrazit pouze vlastníci organizace a oprávnění uživatelé.

Zjistěte více o cenách úrovně škálování.

Jak získám přístup k nastavení úrovně škálování?

Vlastníci organizace v API Platformě se ke svému nastavení úrovně škálování dostanou tak, že vpravo nahoře na stránce vyberou ikonu Nastavení a potom v nabídce na levé straně obrazovky zvolí Úroveň škálování v sekci „Organization“.

Image

Stránka nastavení úrovně škálování vám umožňuje přidat další kapacitu, zobrazit využití vstupních tokenů, plánovat kapacitu, zobrazit přidělené tokeny a zkontrolovat autorizované nákupčí.

Jak mohu dokoupit další kapacitu?

Kapacitu můžete zakoupit kliknutím na tlačítko Add capacity vpravo nahoře na stránce úrovně škálování. Nejnovější informace o nárocích TPM pro vstupní a výstupní tokenové jednotky najdete na naší hlavní stránce úrovně škálování.

Po výběru typu tokenů, které chcete zakoupit, můžete částku zadat přímo nebo posunutím jezdce vybrat počet tokenů, které chcete koupit. Jezdec vám umožní snadno sledovat změny TPM v části Summary při změně počtu tokenů. Zároveň vám doporučíme počet jednotek k nákupu, aby pokryl váš provoz za posledních 30 dní.

Add token capacity dialog for gpt-4o with Input Tokens selected and input limit increasing from 40K to 60K

Jakmile výběr dokončíte, kliknutím na Checkout nákup potvrdíte v dalším modálním okně.

Upozorňujeme, že ceny zobrazené v našem souhrnu jsou standardní sazby a nezahrnují žádné slevy sjednané v objednávkovém formuláři vaší organizace. Veškeré příslušné slevy budou uplatněny a promítnuty do faktury vystavené vaší organizaci. Všechny zakoupené jednotky budou aktivní do začátku dalšího fakturačního období a poté se budou denně obnovovat.

Jak povolím volání používat tokeny úrovně škálování?

V nastavení projektu musíte přepínač Scale Tier Enabled zapnout.

Pokud používáte Completions API, podívejte se také do naší dokumentace, kde vysvětlujeme klíč service_tier, abyste se mohli rozhodnout, zda jej nastavit ručně, nebo se spolehnout na výchozí chování.

Volání do Responses API mají ve výchozím nastavení service_tier=auto. Pokud má projekt povolenou možnost Scale Tier Enabled, požadavky, které service_tier neuvádějí (nebo používají auto), budou ve výchozím nastavení používat úroveň škálování, pokud je kvóta úrovně škálování k dispozici. Požadavky s service_tier=default budou používat sdílený/PAYG výpočetní výkon.

Jak zobrazím historii nákupů a expirované tokeny?

Historii nákupů úrovně škálování si můžete zobrazit na stránce úrovně škálování výběrem modelu v části Provisioned tokens.

Provisioned tokens table with active allocations for gpt-4o and gpt-4o-mini

Jakmile vyberete model, ve spodní části stránky se vám zobrazí Expired tokens a Prior transactions.

Image

Jak mohu upravit kapacitu tokenů?

Kapacitu tokenů modelu můžete upravit výběrem modelu v části Provisioned tokens na stránce úrovně škálování. Jakmile model vyberete, najděte svůj nákup pod záhlavím Active a výběrem možnosti Cancel vedle nákupu jej upravte

Image

V modálním okně můžete zadat počet jednotek ke zrušení přímo nebo pomocí jezdce modelovat TPM při provádění výběru.

Edit Token Capacity dialog for gpt-4o canceling 1 package and reducing output limit TPM from 2.248M to 2.246M

Jak zobrazím své RPM/TPM úrovně škálování a využití?

Souhrn využití API ve vaší organizaci si můžete zobrazit na stránce úrovně škálování. Všechna data a časy vycházejí z UTC a data mohou mít zpoždění až 5 minut.

Input token usage chart for the last 30 days with several spikes and a peak near 700K

Své využití můžete zkontrolovat na řídicím panelu Activity Usage výběrem modelů úrovně škálování v rozbalovacím seznamu modelů. Tato data můžete zobrazit v okně 30 dní, 1 dne a 15 minut. Data o vašem využití jsou vrstvena tak, aby ukazovala objem využití modelu pokrytý vaší úrovní škálování oproti objemu využití pokrytému vaším tarifem účtu.

Upozorňujeme, že řídicí panel Usage Dashboard mohou zobrazit pouze vlastníci organizace.

Kdy se změna kapacity tokenů projeví v panelu využití?

Může trvat až 24 hodin, než se provedené změny projeví. Samotné změny se však projeví téměř okamžitě.

Byl tento článek užitečný?