ওভারভিউ
টোকেন হলো সেই ইউনিট, যা OpenAI মডেলগুলো টেক্সট প্রক্রিয়া করতে ব্যবহার করে. একটি টোকেন একটি অক্ষর, শব্দের অংশ, পুরো শব্দ বা বিরামচিহ্ন বোঝাতে পারে. স্পেসও টেক্সট কীভাবে টোকেনে ভাগ হয় তা প্রভাবিত করে.
টোকেন গণনা শব্দ গণনার সমান নয়. মডেল, তার এনকোডিং এবং ভাষার ওপর নির্ভর করে একই টেক্সটের টোকেন সংখ্যা ভিন্ন হতে পারে.
টেক্সট কীভাবে টোকেনে পরিণত হয় তা বুঝুন
আপনি যখন কোনো মডেলে টেক্সট পাঠান:
টেক্সটটি টোকেনে ভাগ করা হয়.
মডেলটি সেই টোকেনগুলো প্রক্রিয়া করে.
মডেলটি আউটপুট টোকেন তৈরি করে. এগুলোর মধ্যে আপনার পাওয়া টেক্সট এবং রিজনিং মডেলের ক্ষেত্রে উত্তর হিসেবে না দেখানো অভ্যন্তরীণ রিজনিং টোকেন থাকতে পারে.
ইংরেজি টেক্সটের জন্য আনুমানিক হিসাব ব্যবহার করুন
এই অনুমানগুলো ইংরেজি টেক্সটের আকার বিচার করতে সাহায্য করতে পারে:
1 টোকেন প্রায় 4 অক্ষরের সমান.
1 টোকেন প্রায় একটি শব্দের তিন-চতুর্থাংশ.
100 টোকেন প্রায় 75 শব্দ.
এগুলো অনুমান, সঠিক গণনা নয়. বাক্য ও অনুচ্ছেদের দৈর্ঘ্য ভিন্ন হয়, এবং অন্য ভাষায় অক্ষর, শব্দ ও টোকেনের সম্পর্কও ভিন্ন হতে পারে.
স্পেস ও বড় হাতের অক্ষরের বিষয়টি হিসাব করুন
কোনো শব্দ তার বানান, বড় হাতের অক্ষর এবং আশপাশের টেক্সট অনুযায়ী ভিন্ন টোকেনে ভাগ হতে পারে.
যেমন, red, Red এবং red-এ একই টেক্সট নেই: শেষ উদাহরণটিতে শুরুতে একটি স্পেস আছে. একটি এনকোডিং এগুলোকে ভিন্নভাবে উপস্থাপন করতে পারে.
টোকেন ID-ও এনকোডিংয়ের ওপর নির্ভর করে. কোনো উদাহরণের টোকেন ID সব মডেলের ক্ষেত্রে প্রযোজ্য ধরে নেবেন না.
ইনপুট ও আউটপুট টোকেন আলাদা করুন
| বিভাগ | এটি যা বর্ণনা করে |
| ইনপুট টোকেন | রিকোয়েস্টে মডেলকে সরবরাহ করা টোকেন. এগুলোকে প্রম্পট টোকেনও বলা হয়. |
| আউটপুট টোকেন | মডেল দ্বারা তৈরি টোকেন. Chat Completions এগুলোকে কমপ্লিশন টোকেন বলে. |
| ক্যাশ করা ইনপুট টোকেন | প্রম্পট ক্যাশিংয়ের মাধ্যমে পুনরায় ব্যবহার করা ইনপুট টোকেন. ক্যাশবিহীন ইনপুট টোকেনের চেয়ে এগুলোর মূল্য ভিন্ন হতে পারে. |
| রিজনিং টোকেন | দৃশ্যমান উত্তর তৈরি করার আগে একটি রিজনিং মডেল অভ্যন্তরীণভাবে যে টোকেন ব্যবহার করে. |
রিজনিং টোকেন উত্তর টেক্সট হিসেবে দেখা যায় না, তবে আউটপুট ব্যবহারে গণনা হয় এবং আউটপুট টোকেন হিসেবে বিল করা হয়.
তাই ছোট দৃশ্যমান উত্তরও প্রদর্শিত টেক্সট যতটা বোঝায় তার চেয়ে বেশি টোকেন ব্যবহার করতে পারে.
রিকোয়েস্ট পাঠানোর আগে টোকেন গণনা করুন
প্লেইন টেক্সট গণনা করুন
টেক্সট কীভাবে টোকেনে ভাগ হয় তা দেখতে Tokenizer ব্যবহার করুন.
প্রোগ্রামেটিক প্লেইন-টেক্সট টোকেনাইজেশনের জন্য tiktoken ব্যবহার করুন. আপনার লক্ষ্য মডেলের জন্য এনকোডিং নির্বাচন করুন, যেমন tiktoken.encoding_for_model(model) দিয়ে.
প্লেইন-টেক্সট টোকেন গণনায় API রিকোয়েস্টের সব টোকেন থাকবেই এমন নয়. মেসেজের কাঠামো, টুল, স্কিমা, ছবি এবং ফাইল সম্পূর্ণ ইনপুট গণনাকে প্রভাবিত করতে পারে.
সম্পূর্ণ Responses ইনপুট গণনা করুন
সম্পূর্ণ Responses API ইনপুটের জন্য ইনপুট-টোকেন গণনা API ব্যবহার করুন.
এটি মেসেজ, ছবি, ফাইল, টুল ও কথোপকথনসহ Responses ইনপুট ফরম্যাট গ্রহণ করে. এর গণনায় রিকোয়েস্ট কাঠামোর জন্য ব্যবহৃত ফরম্যাটিং টোকেন থাকে, যেমন মেসেজের ভূমিকা ও সীমা.
ইনপুট গণনা মডেল কত আউটপুট টোকেন তৈরি করবে তা পূর্বাভাস দেয় না.
প্রকৃত টোকেন ব্যবহার পরীক্ষা করুন
কোনো রিকোয়েস্টের পরে, তার ব্যবহারের তথ্য দেখুন. এন্ডপয়েন্ট অনুযায়ী ফিল্ডের নাম ভিন্ন হতে পারে:
Chat Completions prompt_tokens, completion_tokens এবং total_tokens রিপোর্ট করে.
Responses input_tokens, output_tokens এবং total_tokens রিপোর্ট করে.
Usage Dashboard-এ সময়ের সঙ্গে কার্যকলাপও পর্যালোচনা করতে পারেন. স্ট্রিমিং ব্যবহারের নির্দেশনাসহ আরও জানতে দেখুন: API ব্যবহার ও খরচ পর্যালোচনা.
মডেলের সীমার মধ্যে থাকুন
আপনার মডেলের কনটেক্সট উইন্ডো ও সর্বোচ্চ আউটপুট জানতে তার ডকুমেন্টেশন দেখুন. মডেলভেদে এই সীমাগুলো ভিন্ন হতে পারে.
কনটেক্সট উইন্ডো একটি রিকোয়েস্টে মডেল যে টোকেন নিয়ে কাজ করতে পারে তা সীমিত করে. মডেলগুলোর আউটপুট সীমাও থাকে. রিজনিং মডেলের ক্ষেত্রে দৃশ্যমান উত্তরের পাশাপাশি রিজনিং টোকেনের জন্যও জায়গা রাখুন.
আপনার ইনপুট খুব বড় হলে, আপনি পারেন:
প্রম্পট ছোট করুন বা নতুনভাবে লিখুন.
অপ্রয়োজনীয় বা পুনরাবৃত্ত কনটেক্সট সরিয়ে দিন.
বড় ইনপুট ছোট অংশে ভাগ করুন.
পাঠানোর আগে টেক্সটের সারসংক্ষেপ করুন বা প্রিপ্রসেস করুন.
আপনার এন্ডপয়েন্ট ও মডেল সমর্থিত আউটপুট-টোকেন সেটিং ব্যবহার করুন. Chat Completions max_completion_tokens ব্যবহার করে; Responses max_output_tokens ব্যবহার করে.
এই রিকোয়েস্ট-আকারের সীমাগুলো API রেট লিমিট এবং মাসিক ব্যবহার বা ব্যয় সীমা থেকে আলাদা. আপনি যে মডেল ব্যবহার করেন তার জন্য মডেল ডকুমেন্টেশন পর্যালোচনা করুন.
টোকেনের মূল্য নির্ধারণ বুঝুন
টোকেনভিত্তিক API মূল্যের ক্ষেত্রে, রেট মডেল ও টোকেন বিভাগের ওপর নির্ভর করে. ইনপুট, ক্যাশ করা ইনপুট এবং আউটপুট টোকেনের দাম ভিন্ন হতে পারে. API-র অন্যান্য সক্ষমতা ভিন্ন বিলিং ইউনিট ব্যবহার করতে পারে.
বর্তমান রেটের জন্য API মূল্য পৃষ্ঠা দেখুন.
মডেল তুলনা করার সময়, আপনার কাজ শেষ করতে প্রয়োজনীয় মোট টোকেন ও খরচ বিবেচনা করুন. প্রতি মিলিয়ন টোকেনের কম দাম মানেই মোট খরচ কম হবে এমন নয়: মডেলগুলো একই টেক্সট ভিন্নভাবে টোকেনাইজ করতে পারে এবং ভিন্ন পরিমাণ আউটপুট বা রিজনিং তৈরি করতে পারে.
শুধু দৃশ্যমান উত্তরের দৈর্ঘ্য তুলনা না করে প্রতিনিধিত্বমূলক কাজ পরীক্ষা করুন.
একাধিক কমপ্লিশনের হিসাব রাখুন
কোনো এন্ডপয়েন্ট ও মডেল একাধিক কমপ্লিশন তৈরি করতে সমর্থ হলে, ওই অতিরিক্ত কমপ্লিশনগুলিও টোকেন ব্যবহার করে.
Chat Completions-এ n 1-এর বেশি সেট করলে একাধিক পছন্দ তৈরি হয়. ওই পছন্দগুলোর সব জেনারেট করা টোকেনের জন্য আপনাকে চার্জ করা হয়.
লেগেসি Completions API-এর ক্ষেত্রে, best_of এমন প্রার্থী তৈরি করতে পারে যেগুলোর সব ফেরত দেওয়া হয় না. যেমন, best_of = 3 প্রার্থীগুলোর মধ্যে সর্বোচ্চ 3 × max_tokens কমপ্লিশন টোকেন তৈরি করতে পারে.
এই প্যারামিটারগুলো এন্ডপয়েন্ট-নির্দিষ্ট. n বা best_of অন্য কোনো API বা মডেলে সমর্থিত ধরে নেবেন না.