প্রম্পট টোকেন এবং কমপ্লিশন টোকেনের মধ্যে পার্থক্য কী?

প্রম্পট টোকেন হলো সেই টোকেনগুলো, যেগুলো আপনি মডেলে ইনপুট দেন. এটি আপনার প্রম্পটে থাকা টোকেনের সংখ্যা.

কমপ্লিশন টোকেন হলো আপনার ইনপুটের উত্তরে মডেল যে কোনো টোকেন তৈরি করে. একটি স্ট্যান্ডার্ড অনুরোধের ক্ষেত্রে, এটি কমপ্লিশনে থাকা টোকেনের সংখ্যা.

আমাদের দেওয়া বেশিরভাগ মডেলের ক্ষেত্রে তারা কত টোকেন নিতে পারে (প্রম্পট টোকেন) এবং কত টোকেন আউটপুট দিতে পারে (কমপ্লিশন বা স্যাম্পল টোকেন), উভয়েরই সীমা থাকে.

best_of বা n-এর উচ্চতর মান ব্যবহার করার সময় তৈরি হওয়া যেকোনো টোকেনও এর অন্তর্ভুক্ত. যেমন, আপনি যদি best_of = 3 ব্যবহার করে ৩টি প্রার্থী কমপ্লিশন তৈরি করেন, নমুনা নেওয়া টোকেনের সংখ্যা সর্বোচ্চ 3 * max_tokens হবে.

টোকেন পরিচালনা সম্পর্কে আরও জানতে আমাদের টেক্সট জেনারেশন গাইড পড়তে পারেন.