OpenAI
Бұл бет машиналық аударма арқылы жасалған. Түпнұсқа ағылшын мақаласын қараңыз.

API Platform — қолданыстағы Enterprise клиенттеріне арналған Масштабтау деңгейі

Жаңартылған: 7 days ago

API Platform жүйесіндегі Масштабтау деңгейі арнайы бір модель снапшотына қол жеткізу үшін API кіріс және шығыс токендерінің минутына белгіленген санын («токен бірліктері» деп аталады) алдын ала сатып алуға мүмкіндік береді. Әрбір токен бірлігі кемінде 30 күнге сатып алынады.

Тапсырыс нысанына қол қойғаннан кейін, токен бірліктерін API Platform есептік жазбаңыз арқылы қосып, алып тастай аласыз. Масштабтау деңгейі параметрлерін қарап, кіріс және шығыс токен бірліктерін тек ұйым иелері мен уәкілетті пайдаланушылар ғана сатып ала алатынын ескеріңіз.


Масштабтау деңгейіндегі баға туралы толығырақ оқыңыз.

Масштабтау деңгейі параметрлеріне қалай қол жеткізе аламын?

API Platform ұйымының иелері парақтың жоғарғы оң жағындағы параметрлер тісті белгішесін таңдап, экранның сол жағындағы мәзірдің «Ұйым» бөлімінен Масштабтау деңгейін таңдау арқылы Масштабтау деңгейі параметрлеріне қол жеткізе алады.

Image

Масштабтау деңгейі параметрлері беті көбірек қуат қосуға, кіріс токендерін пайдалану көлемін көруге, қуатты жоспарлауға, бөлінген токендеріңізді көруге және уәкілетті сатып алушыларды қарап шығуға мүмкіндік береді.

Көбірек қуатты қалай сатып аламын?

Қуатты Масштабтау деңгейі бетінің жоғарғы оң жағындағы «Қуат қосу» түймесін таңдау арқылы сатып ала аласыз. Кіріс және шығыс токен бірліктеріне берілетін TPM құқықтары туралы ең жаңа мәліметтерді Масштабтау деңгейінің басты бетінен қараңыз.

Сатып алатын токен түрін таңдағаннан кейін, соманы тікелей енгізуге немесе жүгірткіні жылжытып, сатып алғыңыз келетін токен санын таңдауға болады. Жүгірткі токендерді өзгерткен сайын «Жиынтық» бөліміндегі TPM өзгерістерін оңай көруге мүмкіндік береді. Соңғы 30 күндегі трафигіңізді жабу үшін қанша бірлік сатып алу керегі туралы ұсыным да береміз.

Add token capacity dialog for gpt-4o with Input Tokens selected and input limit increasing from 40K to 60K

Таңдауыңызды аяқтағаннан кейін, келесі модальді терезеде сатып алуды растау үшін «Төлеуге өту» түймесін таңдаңыз.

Жиынтықта көрсетілген бағалар стандартты тарифтеріміз екенін және ұйымыңыздың тапсырыс нысанында келісілген жеңілдіктерді қамтымайтынын ескеріңіз. Қолданылатын кез келген жеңілдіктер ұйымыңызға берілетін шот-фактурада қолданылып, көрсетіледі. Сатып алынған кез келген бірліктер келесі шот кезеңі басталғанға дейін белсенді болады, содан кейін күн сайын жаңартылады.

Шақыруларда Масштабтау деңгейі токендерін пайдалануды қалай қосамын?

Project Settings бөліміндегі Scale Tier Enabled ауыстырғышын қосулы күйге қоюыңыз керек.

Completions API қолдансаңыз, құжаттамамыздағы service_tier кілтін түсіндіретін бөлімді де қараңыз: оны қолмен орнату керек пе, әлде әдепкі әрекетке сүйену керек пе — соны шешуге көмектеседі.

Responses API шақыруларында әдепкі мән — service_tier=auto. Жобада Scale Tier Enabled қосулы болса, service_tier көрсетілмеген (немесе auto қолданылған) сұраулар Масштабтау деңгейі квотасы қолжетімді болғанда әдепкі бойынша Масштабтау деңгейін пайдаланады. service_tier=default бар сұраулар ортақ/PAYG есептеу қуатын пайдаланады.

Сатып алу тарихым мен мерзімі өткен токендерді қалай қарай аламын?

Масштабтау деңгейі бойынша сатып алу тарихын Масштабтау деңгейі бетінде «Бөлінген токендер» бөлімінен модельді таңдау арқылы қарай аласыз.

Provisioned tokens table with active allocations for gpt-4o and gpt-4o-mini

Модельді таңдағаннан кейін, беттің төменгі жағынан «Мерзімі өткен токендер» және «Алдыңғы транзакциялар» бөлімдерін көре аласыз.

Image

Токен қуатымды қалай өзгерте аламын?

Модельдің токен қуатын Масштабтау деңгейі бетіңіздегі «Бөлінген токендер» бөлімінен модельді таңдау арқылы өзгерте аласыз. Модельді таңдағаннан кейін, «Белсенді» тақырыбының астынан сатып алуыңызды тауып, өзгерту үшін сатып алудың жанындағы «Бас тарту» түймесін таңдаңыз

Image

Модальді терезеде бас тартылатын бірліктер санын тікелей енгізуге немесе таңдауыңызды жасаған сайын TPM-ді модельдеу үшін жүгірткіні пайдалануға болады.

Edit Token Capacity dialog for gpt-4o canceling 1 package and reducing output limit TPM from 2.248M to 2.246M

Масштабтау деңгейіндегі RPM/TPM және пайдалану көлемін қалай көре аламын?

Ұйымыңыздың API пайдалану жиынтығын Масштабтау деңгейі бетіңізден көре аласыз. Барлық күндер мен уақыттар UTC негізінде көрсетіледі, ал деректер 5 минутқа дейін кідіруі мүмкін.

Input token usage chart for the last 30 days with several spikes and a peak near 700K

Модельдер ашылмалы тізімінен Масштабтау деңгейі модельдерін таңдау арқылы пайдалануыңызды Әрекет пайдалану бақылау тақтасында қарап шыға аласыз. Бұл деректерді 30 күндік, 1 күндік және 15 минуттық аралықта көре аласыз. Пайдалану деректеріңіз қабатталып көрсетіледі: Масштабтау деңгейіңіз қамтитын модельдің пайдалану көлемі есептік жазба жоспарыңыз қамтитын пайдалану көлемімен салыстырылады.

Пайдалану бақылау тақтасын тек ұйым иелері ғана көре алатынын ескеріңіз.

Токен қуатындағы өзгерісім пайдалану бақылау тақтасында қашан көрінеді?

Енгізген өзгерістеріңіздің көрінуі 24 сағатқа дейін созылуы мүмкін. Ал өзгерістердің өзі дерлік бірден күшіне енеді.

Бұл мақала пайдалы болды ма?