Жұмыс істеу тәртібі

Тұтынушылар бұрыннан бар service_tier параметрінің service_tier = "fast" опциясын пайдаланып, әр сұрау бойынша трафикті Жылдам режимге бағыттай алады.

Жылдам режим өңдеген токендер әр токен бойынша есептеліп, Стандартты өңдеу тарифтерінен жоғары бағамен төленеді.

Сұрау деңгейінде реттеумен қатар, Жоба параметрлері > Әдепкі Қызмет деңгейі: Жылдам тармағында жоба үшін Жылдам режимді әдепкі етіп орнатуға болады. Әр сұрау үшін бұл параметрді әлі де өзгерте аласыз. Жоба параметрлерінде «Жылдам» опциясын таңдау «Басымдық» опциясын таңдаумен бірдей.

Бұл Масштабтау деңгейімен қалай бірге жұмыс істейді?

Масштабтау деңгейі Жылдам режимнен бөлек қалады. Жылдам режимге жіберілген сұраулар бөлек төленеді және сатып алынған Масштабтау деңгейінің TPM топтамаларына есептелмейді.

Масштабтау деңгейінің артық трафигін Жылдам режимге автоматты түрде жібере аламын ба?

Жоқ. Масштабтау деңгейіне жіберілген трафик Жылдам режимге автоматты түрде ауыспайды.

Жылдам режим үшін төлем қалай есептеледі?

Жылдам режим өңдеген токендер әр токен бойынша есептеліп, Стандартты өңдеу тарифтерінен жоғары бағамен төленеді.

Жылдық міндеттемем белгілі бір өңдеу режиміне байланысты ма?

Жоқ. Барлық өңдеу режимі Enterprise жоспары бойынша жылдық шығын міндеттемесіне есептеледі.

Кэштелген кіріс токендеріне әлі де жеңілдік аламын ба?

Иә! Кэштелген кірістерге Стандартты өңдеудегідей 50–75% жеңілдік беріледі.

Жылдам режимді пайдалану көлемі мен шығынымды қалай көремін?

Жылдам режим (бұрынғы Басымдықпен өңдеу) өңдеген токендерді көру үшін «Пайдалану» бақылау тақтасына өтіп, «Чат толықтырулары» немесе «Жауаптар» бөлімін таңдаңыз да, Қызмет деңгейі бойынша топтастырыңыз.

Жылдам режим шығынын көру үшін «Пайдалану» бақылау тақтасына өтіп, «Жол элементі бойынша топтау» опциясын таңдаңыз.

«Пайдалану» бақылау тақтасында service_tier ретінде priority немесе fast қолданатын сұраулар бұрынғыдай priority болып көрсетіледі. Бұл болашақ модельдер үшін жаңартылады.

Модельдер

Жылдам режим ұзын контекст, дәл бапталған модельдер, ендірулер және т.б. үшін қолжетімді ме?

Қазір қолжетімді емес. Болашақта Жылдам режимді ең жаңа модельдерімізден бөлек басқа өнімдерде де ұсыну мүмкіндігін қарастырамыз.

Жылдам режимде басқа модальдықтар қалай жұмыс істейді?

Жылдам режим Стандартты режимдегідей мультимодальды мүмкіндіктерді қолдайды. Атап айтқанда, кескіндерді Басымдықпен өңдеуге кіріс ретінде пайдалануға болады және олар дәл сондай төмен кідіріспен өңделеді.

Болашақ модельдерге қолдау көрсетіле ме?

Жаңа GPT модельдерінде Жылдам режимді ұсынуды жоспарлап отырмыз, бірақ оның әр модельде қолдау табатынына кепілдік бермейміз.

Сұраныс шектеулері

Сұраныс шектеулері қандай?

Сұраныс шектеулерін есептегенде, Басымдықпен өңдеуді пайдалану стандартты API трафигімен бірдей қарастырылады.

Трафикті арттыру қарқынының шектеулері қандай?

Барлық тұтынушы үшін тұрақты жоғары өнімділікті қамтамасыз етіп, икемді әрі сұраныс бойынша баға белгілеуді сақтау мақсатында Жылдам режимде трафикті арттыру қарқыны шектеледі. Сирек жағдайларда (а) Жылдам режимнің өнімділігі төмендесе ЖӘНЕ (ә) тұтынушы трафигі тым тез өссе, кейбір сұраулар Стандартты өңдеуге ауыстырылуы мүмкін.

Жылдам режимдегі трафикті арттыру қарқынының қазіргі шектеуі негізгі құжаттамамызда осында көрсетілген.

Трафикті арттыру қарқынының шегінен аспауға көмектесетін үздік тәжірибелер

Модельдерді ауыстырғанда трафикті біртіндеп арттырыңыз. Мысалы, қолданбаңыз алдыңғы нұсқадан жаңасына көшіп жатса, бүкіл трафикті бірден емес, функция жалаушасы арқылы бірнеше сағат ішінде біртіндеп ауыстырыңыз.

Жылдам режимде ауқымды деректерді өңдеу немесе асинхронды тапсырмаларды іске қоспаңыз. Мұндай тапсырмалар трафикті өте тез арттыруы мүмкін және оларға Жылдам режимнің жоғары өнімділігі көбіне қажет емес.

Трафикті арттыру қарқынының шектеулеріне жиі тап болсаңыз, оның орнына Масштабтау деңгейінің квотасын сатып алуды қарастырыңыз.

Трафикті арттыру қарқынының шектеулері жобаларым немесе ұйымдарым арасында ортақ па?

Иә, бүкіл трафигіңіз трафикті арттыру қарқынының бір ортақ шектеуіне есептеледі.

Саясаттар

Жылдам режим кідіріс бойынша мақсатты көрсеткішке жетпесе не болады?

Сұрақтарыңыз немесе алаңдаушылықтарыңыз болса, аккаунт директорыңызға хабарласыңыз. Жылдам режимнің SLA шарттары Масштабтау деңгейінің SLA шарттарымен бірдей қарастырылады. Белгілі бір уақыт аралығында Enterprise келісімдері бар тұтынушылар үшін осы шарттарды орындай алмасақ, қызметтік кредиттер беріледі.

Жылдам режим деректердің орналасу аймағымен үйлесімді ме?

Иә.

Жылдам режим ZDR және BAA талаптарымен үйлесімді ме?

Иә.