এটি কীভাবে কাজ করে

গ্রাহকেরা বিদ্যমান service_tier প্যারামিটার ব্যবহার করে, service_tier = "fast" বিকল্পের মাধ্যমে, প্রতিটি অনুরোধের ভিত্তিতে ট্র্যাফিক দ্রুত মোডে পাঠাতে পারেন.

দ্রুত মোডে সরবরাহ করা টোকেনগুলোর বিল টোকেন-প্রতি ভিত্তিতে করা হবে, যার মূল্য স্ট্যান্ডার্ড প্রক্রিয়াকরণের হারের তুলনায় বেশি.

অনুরোধ স্তরে কনফিগার করার পাশাপাশি, প্রজেক্ট সেটিংস > ডিফল্ট সার্ভিস টিয়ার: দ্রুত-এ একটি প্রজেক্টের ডিফল্টও দ্রুত মোডে সেট করতে পারেন. আপনি এখনও প্রতিটি অনুরোধে এটি ওভাররাইড করতে পারবেন. আপনার প্রজেক্ট সেটিংসে দ্রুত নির্বাচন করা Priority নির্বাচন করার সমতুল্য.

স্কেল টিয়ারের সঙ্গে এটি কীভাবে কাজ করে?

স্কেল টিয়ার দ্রুত মোড থেকে আলাদা থাকবে. দ্রুত মোডে পাঠানো অনুরোধগুলোর বিল আলাদাভাবে করা হবে এবং সেগুলো আপনার কেনা স্কেল টিয়ার TPM বান্ডেলের আওতায় গণনা করা হবে না.

আমি কি আমার স্কেল টিয়ারের অতিরিক্ত ট্র্যাফিক স্বয়ংক্রিয়ভাবে দ্রুত মোডে পাঠাতে পারি?

না. স্কেল টিয়ারে পাঠানো ট্র্যাফিক স্বয়ংক্রিয়ভাবে দ্রুত মোডে যাবে না.

দ্রুত মোডের বিল কীভাবে করা হয়?

দ্রুত মোডে সরবরাহ করা টোকেনগুলোর বিল টোকেন-প্রতি ভিত্তিতে করা হবে, যার মূল্য স্ট্যান্ডার্ড প্রক্রিয়াকরণের হারের তুলনায় বেশি.

আমার বার্ষিক প্রতিশ্রুতি কি কোনো নির্দিষ্ট প্রক্রিয়াকরণ মোডের সঙ্গে যুক্ত?

না. সব প্রক্রিয়াকরণ মোড আপনার বার্ষিক Enterprise খরচের প্রতিশ্রুতির আওতায় গণনা করা হয়.

ক্যাশ করা ইনপুট টোকেনে কি আমি এখনও ছাড় পাব?

হ্যাঁ! ক্যাশ করা ইনপুটগুলো স্ট্যান্ডার্ড প্রক্রিয়াকরণের মতোই ৫০-৭৫% ছাড় পায়.

দ্রুত মোডে আমার ব্যবহার ও খরচ কীভাবে দেখব?

দ্রুত মোডে প্রক্রিয়াকৃত টোকেন দেখতে (আগে Priority processing নামে পরিচিত), Usage ড্যাশবোর্ডে যান, চ্যাট কমপ্লিশনস বা রেসপন্সেস নির্বাচন করুন এবং সার্ভিস টিয়ার অনুযায়ী গ্রুপ করুন.

দ্রুত মোডের খরচ দেখতে Usage ড্যাশবোর্ডে যান এবং লাইন আইটেম অনুযায়ী গ্রুপ করুন নির্বাচন করুন.

Usage ড্যাশবোর্ডে, service_tier হিসেবে priority বা fast ব্যবহার করা অনুরোধগুলো priority হিসেবেই দেখা যেতে থাকবে. ভবিষ্যতের মডেলগুলোর জন্য এটি আপডেট করা হবে.

মডেলসমূহ

দ্রুত মোড কি দীর্ঘ প্রসঙ্গ, ফাইন-টিউন করা মডেল, এমবেডিং ইত্যাদির জন্য পাওয়া যায়?

এই মুহূর্তে নয়. আমাদের সর্বশেষ মডেলগুলোর বাইরে অতিরিক্ত পণ্যে দ্রুত মোড দেওয়া হবে কি না, তা আমরা ভবিষ্যতে মূল্যায়ন করব.

অন্যান্য মোডালিটি দ্রুত মোডের সঙ্গে কীভাবে কাজ করে?

স্ট্যান্ডার্ডে উপলভ্য একই মাল্টিমোডাল সক্ষমতা দ্রুত মোডে সমর্থিত. বিশেষ করে, ছবি Priority processing-এ ইনপুট হিসেবে ব্যবহার করা যায় এবং একই দ্রুত ল্যাটেন্সিতে প্রক্রিয়াকৃত হয়.

ভবিষ্যতের মডেলগুলো কি সমর্থিত হবে?

আমরা নতুন GPT মডেলে দ্রুত মোড দেওয়ার পরিকল্পনা করছি, তবে প্রতিটি মডেল সমর্থিত হবে—এমন নিশ্চয়তা দিই না.

সীমা

সীমা কী কী?

সীমার ক্ষেত্রে Priority processing-এর ব্যবহারকে স্ট্যান্ডার্ড API ট্র্যাফিকের মতোই গণ্য করা হয়.

র‍্যাম্প সীমা কী কী?

সব গ্রাহকের জন্য ধারাবাহিকভাবে উচ্চ পারফরম্যান্স নিশ্চিত করতে দ্রুত মোডে র‍্যাম্প সীমা রয়েছে, একই সঙ্গে নমনীয়, অন-ডিমান্ড মূল্যও দেওয়া হয়. যদি (a) দ্রুত মোডের পারফরম্যান্স কমে যায় এবং (b) কোনো গ্রাহকের ট্র্যাফিক খুব দ্রুত বাড়তে থাকে, তাহলে বিরল ক্ষেত্রে কিছু অনুরোধ স্ট্যান্ডার্ড প্রক্রিয়াকরণে নামিয়ে দেওয়া হতে পারে.

বর্তমান দ্রুত মোডের র‍্যাম্প সীমা এখানে আমাদের প্রধান ডকুমেন্টেশনে সংজ্ঞায়িত করা আছে.

আপনার র‍্যাম্প সীমার মধ্যে থাকার সেরা চর্চা

মডেল পরিবর্তন করার সময় ধীরে ধীরে ট্র্যাফিক বাড়ান. উদাহরণস্বরূপ, আপনার অ্যাপ্লিকেশন যদি আগের কোনো স্ন্যাপশট থেকে নতুনটিতে যায়, তাহলে একবারে সব ট্র্যাফিক সরানোর বদলে কয়েক ঘণ্টা ধরে ট্র্যাফিক স্থানান্তর করতে একটি ফিচার ফ্ল্যাগ ব্যবহার করুন.

দ্রুত মোডে বড় ডাটা প্রক্রিয়াকরণ বা অ্যাসিঙ্ক্রোনাস কাজ চালানো এড়িয়ে চলুন. এই কাজগুলো খুব দ্রুত ট্র্যাফিক বাড়াতে পারে এবং প্রায়ই দ্রুত মোডের উন্নত পারফরম্যান্সের প্রয়োজন হয় না.

আপনি যদি নিয়মিত র‍্যাম্প সীমার মুখোমুখি হন, তাহলে এর বদলে স্কেল টিয়ার কোটা কেনার কথা বিবেচনা করুন.

র‍্যাম্প সীমা কি আমার প্রজেক্ট বা প্রতিষ্ঠানজুড়ে শেয়ার করা হয়?

হ্যাঁ, আপনার সব ট্র্যাফিক একই র‍্যাম্প সীমায় অবদান রাখে.

নীতিমালা

দ্রুত মোড ল্যাটেন্সির লক্ষ্য পূরণ না করলে কী হবে?

কোনো প্রশ্ন বা উদ্বেগ থাকলে আপনার AD-এর সঙ্গে যোগাযোগ করুন. দ্রুত মোডের SLA-গুলোকে স্কেল টিয়ার SLA-এর মতোই বিবেচনা করা হবে; নির্দিষ্ট সময়সীমায় Enterprise চুক্তির আওতাধীন গ্রাহকদের জন্য আমরা এসব SLA পূরণে ব্যর্থ হলে সার্ভিস ক্রেডিট দেওয়া হবে.

দ্রুত মোড কি ডাটা রেসিডেন্সির সঙ্গে সামঞ্জস্যপূর্ণ?

হ্যাঁ.

দ্রুত মোড কি ZDR এবং BAA-এর সঙ্গে সামঞ্জস্যপূর্ণ?

হ্যাঁ.