আমরা এখন এন্টারপ্রাইজ API গ্রাহকদের জন্য প্রায়োরিটি প্রসেসিং দিচ্ছি, যারা নির্দিষ্ট মডেলে দ্রুততর ও আরও ধারাবাহিক পারফরম্যান্স পেতে চান. এটি কীভাবে কাজ করে, মূল্য, মডেলের উপলভ্যতা, সীমা, নির্ভরযোগ্যতা, নীতিমালা এবং যোগ্যতা সম্পর্কে সাধারণ প্রশ্নের উত্তর নিচে দেওয়া হলো.

আরও জানুন এখানে.

অ্যাক্সেস

কে প্রায়োরিটি প্রসেসিং অ্যাক্সেস করতে পারেন?

প্রায়োরিটি প্রসেসিং বর্তমানে এন্টারপ্রাইজ গ্রাহকদের জন্য উপলভ্য.

প্রায়োরিটি প্রসেসিং কি সব অঞ্চলে উপলভ্য?

প্রায়োরিটি প্রসেসিংয়ের উপলভ্যতা প্রতিটি বিচারব্যবস্থার প্রযোজ্য আইন ও বিধিবিধানের ওপর নির্ভর করে. আপনার অঞ্চলে উপলভ্যতা সম্পর্কে প্রশ্ন থাকলে অনুগ্রহ করে আপনার অ্যাকাউন্ট ডিরেক্টরের সঙ্গে যোগাযোগ করুন.

মূল্য

আমি কীভাবে প্রায়োরিটি প্রসেসিং ব্যবহার শুরু করব?

গ্রাহকরা বিদ্যমান service_tier প্যারামিটার ব্যবহার করে প্রতি অনুরোধের ভিত্তিতে ট্র্যাফিক প্রায়োরিটি প্রসেসিংয়ে পাঠাতে পারেন, যেখানে অপশনটি হলো service_tier="priority".

এটি স্কেল টিয়ারের সঙ্গে কীভাবে কাজ করে?

স্কেল টিয়ার প্রায়োরিটি প্রসেসিং থেকে আলাদা থাকবে. প্রায়োরিটি প্রসেসিংয়ে পাঠানো অনুরোধগুলোর বিল আলাদাভাবে করা হবে এবং সেগুলো আপনার কেনা স্কেল টিয়ার TPM বান্ডেলের মধ্যে গণনা করা হবে না.

আমি কি আমার স্কেল টিয়ার স্পিলওভার ট্র্যাফিক স্বয়ংক্রিয়ভাবে প্রায়োরিটি প্রসেসিংয়ে পাঠাতে পারি?

না. স্কেল টিয়ারে পাঠানো ট্র্যাফিক স্বয়ংক্রিয়ভাবে প্রায়োরিটি প্রসেসিংয়ে স্পিলওভার হবে না.

প্রায়োরিটি প্রসেসিংয়ের বিল কীভাবে করা হয়?

প্রায়োরিটি প্রসেসিং দ্বারা পরিবেশিত টোকেনের বিল প্রতি-টোকেন ভিত্তিতে করা হবে, যার মূল্য স্ট্যান্ডার্ড প্রসেসিং রেটের তুলনায় প্রিমিয়াম হবে.

আমার বার্ষিক কমিটমেন্ট কি নির্দিষ্ট কোনো প্রসেসিং মোডের সঙ্গে যুক্ত?

না. সব প্রসেসিং মোড আপনার বার্ষিক এন্টারপ্রাইজ ব্যয় কমিটমেন্টের মধ্যে গণনা করা হয়.

ক্যাশড ইনপুট টোকেনে কি এখনও ছাড় পাব?

হ্যাঁ! ক্যাশড ইনপুটগুলো স্ট্যান্ডার্ড প্রসেসিংয়ের মতোই ৫০-৭৫% ছাড় পায়.

আমার প্রায়োরিটি প্রসেসিং ব্যবহার ও ব্যয় কীভাবে দেখব?

প্রায়োরিটি প্রসেসিং দ্বারা প্রক্রিয়াকৃত টোকেন দেখতে, Usage ড্যাশবোর্ডে যান, Chat Completions বা Responses নির্বাচন করুন এবং সার্ভিস টিয়ার অনুযায়ী গ্রুপ করুন. প্রায়োরিটি প্রসেসিং খরচ দেখতে, Usage ড্যাশবোর্ডে যান এবং লাইন আইটেম অনুযায়ী গ্রুপ করুন নির্বাচন করুন.

মডেল

লং কনটেক্সট, ফাইন-টিউনড মডেল, এমবেডিং ইত্যাদির জন্য কি প্রায়োরিটি প্রসেসিং উপলভ্য?

এই মুহূর্তে নয়. আমাদের সর্বশেষ মডেলগুলোর বাইরে অতিরিক্ত পণ্যে প্রায়োরিটি প্রসেসিং দেওয়া হবে কি না, আমরা ভবিষ্যতে তা মূল্যায়ন করব.

অন্যান্য মোডালিটি প্রায়োরিটি প্রসেসিংয়ের সঙ্গে কীভাবে কাজ করে?

স্ট্যান্ডার্ডে উপলভ্য একই মাল্টিমোডাল সক্ষমতাগুলো প্রায়োরিটি প্রসেসিং সমর্থন করে. বিশেষভাবে, ছবি প্রায়োরিটি প্রসেসিংয়ের ইনপুট হিসেবে ব্যবহার করা যায় এবং একই দ্রুত লেটেন্সিতে প্রক্রিয়াকৃত হয়.

ভবিষ্যতের মডেলগুলো কি সমর্থিত হবে?

আমরা নতুন GPT মডেলে প্রায়োরিটি প্রসেসিং দেওয়ার পরিকল্পনা করছি, তবে প্রতিটি মডেল সমর্থিত হবে এমন নিশ্চয়তা দিচ্ছি না.

সীমা

সীমাগুলো কী?

সীমার ক্ষেত্রে প্রায়োরিটি প্রসেসিংয়ের ব্যবহারকে স্ট্যান্ডার্ড API ট্র্যাফিকের মতোই বিবেচনা করা হয়.

র্যাম্প রেট সীমা কী?

প্রায়োরিটি প্রসেসিংয়ে র্যাম্প রেট সীমা থাকে, যাতে সব গ্রাহকের জন্য ধারাবাহিকভাবে উচ্চ পারফরম্যান্স নিশ্চিত করার পাশাপাশি নমনীয়, অন-ডিমান্ড মূল্য রাখা যায়. যদি (a) প্রায়োরিটি প্রসেসিংয়ের পারফরম্যান্স কমে যায় এবং (b) কোনো গ্রাহকের ট্র্যাফিক খুব দ্রুত বাড়তে থাকে, তাহলে বিরল ক্ষেত্রে কিছু প্রায়োরিটি অনুরোধকে স্ট্যান্ডার্ড প্রসেসিংয়ে ডাউনগ্রেড করা হতে পারে.

বর্তমান প্রায়োরিটি প্রসেসিং র্যাম্প রেট সীমা আমাদের প্রধান ডকুমেন্টেশনে এখানে সংজ্ঞায়িত করা হয়েছে.

আপনার র্যাম্প রেট সীমার মধ্যে থাকার সেরা পদ্ধতি

• মডেল পরিবর্তনের সময় ধীরে ধীরে ট্র্যাফিক বাড়ান. যেমন, আপনার অ্যাপ্লিকেশন যদি আগের কোনো স্ন্যাপশট থেকে নতুনটিতে স্থানান্তরিত হয়, তাহলে একসঙ্গে সব না করে কয়েক ঘণ্টা ধরে ট্র্যাফিক স্থানান্তরের জন্য একটি ফিচার ফ্ল্যাগ ব্যবহার করুন.

• প্রায়োরিটি প্রসেসিংয়ে বড় ডাটা প্রসেসিং বা অ্যাসিঙ্ক্রোনাস কাজ চালানো এড়িয়ে চলুন. এই কাজগুলো খুব দ্রুত ট্র্যাফিক বাড়াতে পারে এবং প্রায়ই প্রায়োরিটি প্রসেসিংয়ের উন্নত পারফরম্যান্সের প্রয়োজন হয় না.

• আপনি যদি নিয়মিত র্যাম্প রেট সীমার মুখোমুখি হন, তাহলে এর বদলে স্কেল টিয়ার কোটা কেনার কথা বিবেচনা করুন.

র্যাম্প রেট সীমা কি আমার প্রজেক্ট বা সংস্থাগুলোর মধ্যে শেয়ার করা হয়?

হ্যাঁ, আপনার সব ট্র্যাফিক একই র্যাম্প রেট সীমায় অবদান রাখে.

নীতিমালা

প্রায়োরিটি প্রসেসিং যদি লেটেন্সি লক্ষ্য পূরণ না করে তাহলে কী হবে?

কোনো প্রশ্ন বা উদ্বেগ থাকলে অনুগ্রহ করে আপনার AD-এর সঙ্গে যোগাযোগ করুন. প্রায়োরিটি প্রসেসিং SLA-গুলোকে স্কেল টিয়ার SLA-এর মতোই বিবেচনা করা হবে; নির্দিষ্ট সময়সীমায় এন্টারপ্রাইজ চুক্তির গ্রাহকদের জন্য আমরা সেই SLA পূরণে ব্যর্থ হলে সার্ভিস ক্রেডিট দেওয়া হবে.

প্রায়োরিটি প্রসেসিং কি ডাটা রেসিডেন্সির সঙ্গে সামঞ্জস্যপূর্ণ?

হ্যাঁ.

প্রায়োরিটি প্রসেসিং কি ZDR এবং BAA-এর সঙ্গে সামঞ্জস্যপূর্ণ?

হ্যাঁ.