Хэрхэн ажилладаг вэ

Хэрэглэгчид одоо байгаа service_tier параметрийн service_tier = "fast" сонголтыг ашиглан хүсэлт тус бүрийн урсгалыг Хурдан горим руу чиглүүлэх боломжтой.

Хурдан горимоор боловсруулсан токены төлбөрийг токен тус бүрээр тооцох бөгөөд үнэ нь Стандарт боловсруулалтын тарифаас өндөр байна.

Хүсэлт тус бүрээр тохируулахаас гадна Төслийн тохиргоо > Өгөгдмөл Үйлчилгээний түвшин: Хурдан хэсэгт төслийн өгөгдмөл горимыг Хурдан горим болгож болно. Хүсэлт тус бүрд үүнийг өөрчлөх боломжтой хэвээр байна. Төслийн тохиргооноос Хурдан сонголтыг сонгох нь Priority-г сонгосонтой адил.

Энэ нь Шатлалын түвшинтэй хэрхэн уялдах вэ?

Шатлалын түвшин нь Хурдан горимоос тусдаа хэвээр байна. Хурдан горим руу илгээсэн хүсэлтийн төлбөрийг тусад нь тооцох бөгөөд таны худалдаж авсан Шатлалын түвшний TPM багцын хэрэглээнд орохгүй.

Шатлалын түвшний хэтэрсэн урсгалыг Хурдан горим руу автоматаар илгээж болох уу?

Үгүй. Шатлалын түвшин рүү илгээсэн урсгал Хурдан горим руу автоматаар шилжихгүй.

Хурдан горимын төлбөрийг хэрхэн тооцдог вэ?

Хурдан горимоор боловсруулсан токены төлбөрийг токен тус бүрээр тооцох бөгөөд үнэ нь Стандарт боловсруулалтын тарифаас өндөр байна.

Миний жилийн үүрэг тодорхой боловсруулалтын горимтой холбоотой юу?

Үгүй. Бүх боловсруулалтын горимын зардал таны Enterprise-ийн жилийн зарцуулалтын үүрэгт тооцогдоно.

Кэшлэгдсэн оролтын токенд хөнгөлөлт эдлэх хэвээр үү?

Тийм! Кэшлэгдсэн оролтод Стандарт боловсруулалтын адил 50–75%-ийн хөнгөлөлт үйлчилнэ.

Хурдан горимын хэрэглээ болон зардлаа хэрхэн харах вэ?

Хурдан горимоор (хуучнаар Priority processing) боловсруулсан токеныг харахын тулд Хэрэглээний хяналтын самбар руу орж, Chat Completions эсвэл Responses-ийг сонгоод Үйлчилгээний түвшнээр бүлэглэнэ үү.

Хурдан горимын зардлыг харахын тулд Хэрэглээний хяналтын самбар руу орж, Зардлын мөрөөр бүлэглэхийг сонгоно уу.

Хэрэглээний хяналтын самбарт service_tier-ийн утгаар priority эсвэл fast ашигласан хүсэлтүүд priority гэж харагдсаар байна. Үүнийг ирээдүйн загваруудад шинэчилнэ.

Загварууд

Хурдан горим урт контекст, нарийн тохируулсан загвар, embedding зэрэгт боломжтой юу?

Одоогоор боломжгүй. Цаашид хамгийн сүүлийн үеийн загваруудаас гадна бусад бүтээгдэхүүнд Хурдан горим санал болгох эсэхээ үнэлнэ.

Бусад төрлийн өгөгдөл Хурдан горимтой хэрхэн ажилладаг вэ?

Хурдан горим нь Стандарт горимд байдаг олон төрлийн өгөгдөл боловсруулах ижил боломжуудыг дэмждэг. Ялангуяа зургийг Priority processing-ийн оролт болгон ашиглаж болох бөгөөд мөн адил хурдан хугацаанд боловсруулна.

Ирээдүйн загваруудыг дэмжих үү?

Шинэ GPT загваруудад Хурдан горимыг санал болгохоор төлөвлөж байгаа ч загвар бүрийг дэмжинэ гэж батлахгүй.

Хурдны хязгаар

Хурдны хязгаар нь ямар вэ?

Хурдны хязгаарыг тооцохдоо Priority processing-ийн хэрэглээг стандарт API урсгалтай адил авч үзнэ.

Ачаалал нэмэх хурдны хязгаар нь ямар вэ?

Уян хатан, хэрэгцээнд суурилсан үнийг хадгалахын зэрэгцээ бүх хэрэглэгчид тогтмол өндөр гүйцэтгэл үзүүлэхийн тулд Хурдан горимд ачаалал нэмэх хурдны хязгаар үйлчилдэг. Хэрэв (a) Хурдан горимын гүйцэтгэл муудсан БӨГӨӨД (b) хэрэглэгчийн урсгал хэт хурдан нэмэгдэж байвал ховор тохиолдолд зарим хүсэлтийг Стандарт боловсруулалт руу бууруулж болно.

Хурдан горимын одоогийн ачаалал нэмэх хурдны хязгаарыг манай үндсэн баримт бичигт энд тодорхойлсон.

Ачаалал нэмэх хурдны хязгаарт багтах шилдэг аргачлал

Загвар солихдоо урсгалыг аажмаар нэмэгдүүлнэ үү. Жишээлбэл, таны апп өмнөх snapshot-аас шинэ хувилбар руу шилжиж байгаа бол бүх урсгалыг нэг дор биш, хэдэн цагийн турш аажмаар шилжүүлэхийн тулд feature flag ашиглана уу.

Хурдан горимоор их хэмжээний өгөгдөл боловсруулах эсвэл асинхрон ажлууд ажиллуулахаас зайлсхий. Эдгээр ажил урсгалыг маш хурдан нэмэгдүүлж болох бөгөөд ихэвчлэн Хурдан горимын сайжруулсан гүйцэтгэл шаардахгүй.

Хэрэв ачаалал нэмэх хурдны хязгаарт тогтмол хүрдэг бол оронд нь Шатлалын түвшний квот худалдаж авахыг бодолцоно уу.

Ачаалал нэмэх хурдны хязгаарыг миний төсөл, байгууллагууд хамтран ашигладаг уу?

Тийм, таны бүх урсгал нэг ачаалал нэмэх хурдны хязгаарт тооцогдоно.

Бодлого

Хурдан горим хариу өгөх хугацааны зорилтыг хангахгүй бол яах вэ?

Асуулт эсвэл санаа зовох зүйл байвал AD-тайгаа холбогдоно уу. Хурдан горимын SLA-г Шатлалын түвшний SLA-тай адил авч үзнэ. Enterprise гэрээтэй хэрэглэгчдийн хувьд тухайн хугацаанд эдгээр SLA-г хангаж чадаагүй бол үйлчилгээний кредит олгоно.

Хурдан горим өгөгдөл байршлын зохицуулалттай нийцэх үү?

Тийм.

Хурдан горим ZDR болон BAA-тай нийцэх үү?

Тийм.