RFT-এর বিল কীভাবে নির্ধারিত হয়

রিইনফোর্সমেন্ট ফাইন-টিউনিং (RFT) আপনাকে রিইনফোর্সমেন্ট লার্নিং ব্যবহার করে OpenAI-এর যুক্তি-ভিত্তিক মডেলগুলোর কর্মক্ষমতা উন্নত করতে দেয়. আমাদের সুপারভাইজড বা প্রেফারেন্স ফাইন-টিউনিং সেবাগুলোর ক্ষেত্রে প্রশিক্ষণ ডেটাসেটে থাকা টোকেনের সংখ্যার ভিত্তিতে বিল নির্ধারিত হয়; কিন্তু RFT-এর ক্ষেত্রে আপনার প্রশিক্ষণ রান মূল মেশিন লার্নিং কাজ করতে যত সময় ব্যয় করে, তার ভিত্তিতে বিল নির্ধারিত হয়.

মূল্যনির্ধারণ

• কম্পিউট: o4-mini-2025-04-16-এর মূল ট্রেনিং লুপে ব্যয় হওয়া ওয়াল-ক্লক সময়ের প্রতি ঘণ্টায় $100. চার্জ সেকেন্ড অনুযায়ী আনুপাতিকভাবে হিসাব করা হয় এবং ইনভয়েসে দুই দশমিক স্থানে রাউন্ড করা হয় (যেমন, 2.55 ঘণ্টা).

• মডেল গ্রেডার ব্যবহার: ট্রেনিংয়ের সময় আউটপুট “গ্রেড” করতে OpenAI মডেল ব্যবহার করলে, সেই গ্রেডিং কলগুলোতে খরচ হওয়া টোকেন ট্রেনিং শেষ হওয়ার পর আমাদের স্ট্যান্ডার্ড API রেটে আলাদাভাবে বিল করা হয়.

আমরা শুধু সেই ট্রেনিং কাজের জন্য চার্জ করি যা সত্যিই আপনার মডেল আপডেট করে (যাকে আমরা “ধরা পড়া সামনের অগ্রগতি” বলি).

যার জন্য আমরা বিল করি

আপনার প্রশিক্ষণ ওয়ার্কার আপনার মডেল সক্রিয়ভাবে প্রশিক্ষণ দিতে যে সময় ব্যয় করে, আমরা তার জন্য বিল করি, বিশেষ করে:

• ফাইন-টিউনিং প্রক্রিয়ায় আপনার মডেল থেকে নমুনা তৈরি করা (“রোলআউট” নামে পরিচিত)

• জবে আপনার নির্ধারিত এক বা একাধিক গ্রেডার দিয়ে সেই আউটপুটগুলো মূল্যায়ন করা (গ্রেডার সম্পর্কে আরও জানুন)

• গ্রেডের ভিত্তিতে ওয়েট আপডেট গণনা ও প্রয়োগ করা (ব্যাকপ্রোপাগেশন).

• আপনার কনফিগার করা যেকোনো ভ্যালিডেশন (মূল্যায়ন) ধাপ চালানো.

বেশিরভাগ গ্রেডার চালানো “বিনামূল্যে”, অর্থাৎ মূল প্রশিক্ষণ লুপে তারা যে সময় যোগ করে তার বাইরে তাদের ব্যবহারের জন্য আমরা অতিরিক্ত চার্জ করি না. এর ব্যতিক্রম হলো মডেল গ্রেডার, যেখানে ওপরের কার্যক্রমের সময় ওই গ্রেডারগুলো যে টোকেন ব্যবহার করে সেগুলোও আমরা গণনা করি. এই টোকেনগুলো আপনার ইনভয়েসে আলাদা লাইন আইটেম হিসেবে দেখা যায়. মডেল গ্রেডার দ্বারা ব্যবহৃত টোকেনের বিল স্বাভাবিক ইনফারেন্স রেটে করা হয় (OpenAI মূল্য).

আমরা কোন কিছুর জন্য বিল করি না

নিচের কাজে ব্যয় হওয়া সময়ের জন্য আমরা চার্জ করি না:

• প্রশিক্ষণ শুরু হওয়ার আগে আপনার ডেটাসেট ভ্যালিডেট বা পরিদর্শন করা.

• আপনার ডেটাসেটের নিরাপত্তা পরীক্ষা.

• কম্পিউট রিসোর্সের জন্য কিউতে অপেক্ষা করা.

• মডেল ওয়েট বা ডেটাসেট ডাউনলোড করা.

• আমাদের ট্রেনিং ফরম্যাটে আপনার ডেটাসেট প্রস্তুত (রেন্ডার) করা.

• আপনার ফাইন-টিউন করা মডেলের পোস্ট-ট্রেনিং নিরাপত্তা মূল্যায়ন.

আমাদের দিকের কোনো ত্রুটির কারণে যদি প্রশিক্ষণ কাজ হারিয়ে যায় (উদাহরণস্বরূপ, কোনো ওয়ার্কার ক্র্যাশ করলে এবং তাকে আগের চেকপয়েন্টে রোল ব্যাক করতে হলে), হারানো কম্পিউট সময় বা গ্রেডার টোকেনের জন্য আপনাকে চার্জ করা হবে না। এ বিষয়ে আরও বিস্তারিত পরের অংশে রয়েছে.

Captured forward progress এবং বিলিং ইভেন্ট

প্রশিক্ষণ আপনার মডেলে অনেক ছোট আপডেট নিয়ে গঠিত। আমরা ট্র্যাক করি এর মধ্যে কতগুলো আপডেট সফলভাবে সম্পন্ন হয়। চার্জ নির্ধারিত হয় এই সফল আপডেটগুলোর সঙ্গে সম্পর্কিত কম্পিউট সময় এবং গ্রেডার টোকেনের ভিত্তিতে.

নিচের যেকোনো একটি "billing events" ঘটলে আমরা চার্জ আরোপ করি:

• প্রশিক্ষণ সফলভাবে সম্পন্ন হয়.

• আপনি প্রশিক্ষণ পজ করেন.

• আপনি প্রশিক্ষণ বাতিল করেন.

• প্রশিক্ষণ ব্যর্থ হয়.

প্রতিটি চার্জ শেষ চার্জের পর থেকে সম্পন্ন অতিরিক্ত কাজকে কভার করে। উদাহরণস্বরূপ:

• আপনি যদি কোনো রান পজ করেন, আমরা একটি চেকপয়েন্ট সংরক্ষণ করি এবং শেষ চার্জের পর থেকে ব্যবহৃত কম্পিউট সময় ও গ্রেডার টোকেনের জন্য আপনাকে চার্জ করি.

• আপনি পুনরায় শুরু করলে, প্রশিক্ষণ চেকপয়েন্ট থেকে চলতে থাকে। পরবর্তী চার্জটি (সমাপ্তি, আরেকটি পজ, বাতিলকরণ বা ব্যর্থতায়) পুনরায় শুরু করার পর হওয়া অতিরিক্ত কাজকেই কভার করবে.

• আপনি যদি কোনো রান বাতিল করেন, আমরা বাতিল করার আগ পর্যন্ত সম্পন্ন কাজের জন্য চার্জ করি.

• প্রশিক্ষণ ব্যর্থ হলে এবং শেষ চার্জের পরের কাজ হারিয়ে গেলে, হারানো অংশের জন্য আপনাকে বিল করা হবে না.

এই "captured forward progress" পদ্ধতি নিশ্চিত করে যে আপনি শুধু সেই কাজের জন্যই অর্থ দেন যা আপনার মডেলে রয়ে যায় অথবা যা আপনি ইচ্ছাকৃতভাবে পরিত্যাগ করেন.

জবের অগ্রগতি দেখা

RFT জবগুলিতে usage_metrics নামের একটি ফিল্ড থাকে, যা বর্তমান ধাপ পর্যন্ত জবের মোট ব্যবহার নথিভুক্ত করে. এর মধ্যে ট্রেনিংয়ে ব্যয় করা সময় এবং জবের সব মডেল গ্রেডারে ব্যবহৃত সব টোকেন অন্তর্ভুক্ত থাকে. এই ফিল্ডটি API (GET /v1/fine_tuning/jobs/{job_id}) অথবা ফাইন-টিউনিং ড্যাশবোর্ড দিয়ে দেখা যায়.

ট্রেনিং সময়কে প্রভাবিত করে এমন বিষয়

বিলিং সময়ভিত্তিক হওয়ায়, আপনার কনফিগারেশন পছন্দ সরাসরি খরচকে প্রভাবিত করে. মূল বিষয়গুলির মধ্যে রয়েছে:

• সমস্যার কঠিনতা: আপনার ডেটাসেটে কঠিন সমস্যা থাকলে, মডেলটি সম্ভবত প্রতিটি সমস্যা নিয়ে বেশি সময় ধরে যুক্তি করবে, ফলে প্রতিটি স্যাম্পল তৈরি করতে বেশি সময় লাগবে.

• কম্পিউটের তীব্রতা: compute_multiplier হাইপারপ্যারামিটার প্রতিটি ট্রেনিং ধাপে কতটা কম্পিউটেশন করবেন তা নিয়ন্ত্রণ করে. বেশি মান মডেলকে প্রতিটি ডেটাপয়েন্টে আরও বিস্তারিতভাবে যুক্তি করতে উৎসাহিত করে, ফলে প্রতিটি ধাপ ধীরে চলে.

• ভ্যালিডেশন সেটিংস:

• গ্রেডারের পারফরম্যান্স:

• বড় বা বেশি সক্ষম মডেল গ্রেডার ছোটগুলির তুলনায় গ্রেড দিতে বেশি সময় নেয়. যেমন, একটি রিজনিং মডেল দিয়ে গ্রেড করতে নন-রিজনিং মডেলের তুলনায় 10 গুণ বেশি সময় লাগতে পারে.

• জটিল Python গ্রেডিং ফাংশন চালাতে সহজগুলির তুলনায় বেশি সময় লাগে.

এই সেটিংস দিয়ে আপনি খরচ, গতি এবং মডেলের গুণমানের মধ্যে ভারসাম্য বেছে নিতে পারেন. যেমন, ঘন ঘন ভ্যালিডেশন করলে সমস্যা আগে ধরা যায়, কিন্তু খরচ বাড়ে. আরও উন্নত মডেল দিয়ে গ্রেড করলে গ্রেডিংয়ের নির্ভুলতা অনেক বাড়তে পারে, কিন্তু প্রতিটি গ্রেডিং ধাপ ধীর হবে এবং জবের খরচ বাড়বে.

খরচ পরিচালনা

আপনার ব্যয় নিয়ন্ত্রণ করতে:

• আপনার কনফিগারেশন সময়কে কীভাবে প্রভাবিত করে তা বুঝতে ছোট রান দিয়ে শুরু করুন.

• যুক্তিসঙ্গত সংখ্যক ভ্যালিডেশন উদাহরণ এবং eval_samples ব্যবহার করুন. প্রয়োজনের চেয়ে বেশি ঘন ঘন ভ্যালিডেশন এড়িয়ে চলুন.

• আপনার গুণমানের প্রয়োজন মেটায় এমন সবচেয়ে ছোট গ্রেডার মডেল বেছে নিন.

• কাস্টম Python গ্রেডারগুলো দক্ষ রাখুন.

• কনভার্জেন্সের গতি ও খরচের ভারসাম্য রাখতে compute_multiplier সমন্বয় করুন.

• ড্যাশবোর্ডে বা API দিয়ে আপনার রান মনিটর করুন. আপনি যেকোনো সময় পজ বা বাতিল করতে পারেন.

উদাহরণসমূহ

সফল প্রশিক্ষণ রান

এই ক্ষেত্রে, মোট ওয়াল-ক্লক সময় 6 ঘণ্টা, কিন্তু বিলযোগ্য মাত্র 4 ঘণ্টা. খরচ হবে 4 ঘণ্টা × $100/ঘণ্টা = $400.

ব্যর্থ জবের উদাহরণ

এই উদাহরণে, রানটি 2 ঘণ্টা প্রশিক্ষণ দেয়, একটি চেকপয়েন্ট লেখে, আরও 1 ঘণ্টা প্রশিক্ষণ দেয়, কিন্তু তারপর ব্যর্থ হয়. চেকপয়েন্ট পর্যন্ত 2 ঘণ্টার প্রশিক্ষণই শুধু বিলযোগ্য.

মোট 3 ঘণ্টা প্রশিক্ষণে ব্যয় হলেও, শুধু 2 ঘণ্টাই ব্যবহারযোগ্য চেকপয়েন্টে "ধরা" আছে এবং বিল করা হয়. ব্যর্থতার কারণে হারানো এক ঘণ্টার প্রশিক্ষণ কাজের দায় আপনার নয়. খরচ হবে 2 ঘণ্টা × $100/ঘণ্টা = $200.

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

আমার কাছ থেকে কখন চার্জ নেওয়া হবে?

আপনার রান সম্পন্ন, পজ, বাতিল বা ব্যর্থ হলে আমরা বিল করি. প্রতিটি বিলে আগের বিলের পর থেকে করা কাজ অন্তর্ভুক্ত থাকে.

রান ব্যর্থ হলে কি আমাকে পেমেন্ট করতে হবে?

আমাদের ত্রুটির কারণে কোনো রান ব্যর্থ হলে এবং সাম্প্রতিক কোনো প্রশিক্ষণ কাজ হারিয়ে গেলে, হারানো অংশের জন্য আপনাকে চার্জ করা হয় না. আপনি কোনো রান বাতিল করলে, বাতিল করা পর্যন্ত করা কাজের জন্য আপনাকে চার্জ করা হয়.

গ্রেডার মডেল টোকেনের বিল কীভাবে করা হয়?

আপনার কনফিগার করা যেকোনো মডেল গ্রেডার যে টোকেন ব্যবহার করে, আমরা সেগুলো গণনা করি. প্রশিক্ষণ শেষ হলে, আমরা আমাদের স্ট্যান্ডার্ড প্রতি-টোকেন রেটে সেই টোকেনগুলোর বিল করি.

আমি কি কোনো রান পজ করে আবার শুরু করতে পারি?

হ্যাঁ. আপনি পজ করলে, আমরা একটি চেকপয়েন্ট সংরক্ষণ করি এবং ওই পর্যন্ত করা কাজের জন্য চার্জ করি. আপনি আবার শুরু করলে, আবার শুরু করার পর করা অতিরিক্ত কাজের জন্যই শুধু আপনাকে চার্জ করা হবে.

Reinforcement Fine‑Tuning বিলিং সম্পর্কে আপনার অন্য প্রশ্ন থাকলে, আমাদের সহায়তা টিমের সাথে যোগাযোগ করুন.