RFT کے لیے بلنگ کیسے کام کرتی ہے

ری اِنفورسمنٹ فائن ٹیوننگ (RFT) آپ کو ری اِنفورسمنٹ لرننگ کا استعمال کرتے ہوئے OpenAI کے ریزننگ ماڈلز کی کارکردگی بہتر بنانے کی سہولت دیتی ہے. ہماری سپروائزڈ یا ترجیحی فائن ٹیوننگ پیشکشوں کے برخلاف، جن کی بلنگ ٹریننگ ڈیٹا سیٹ میں ٹوکن کی تعداد کے حساب سے ہوتی ہے، RFT کی بلنگ اس وقت کی بنیاد پر ہوتی ہے جو آپ کا ٹریننگ رن بنیادی مشین لرننگ کام انجام دینے میں صرف کرتا ہے.

قیمتیں

• کمپیوٹ: o4-mini-2025-04-16 کے لیے بنیادی ٹریننگ لوپ میں صرف ہونے والے وال-کلاک وقت کے حساب سے $100 فی گھنٹہ۔ چارجز سیکنڈ کے حساب سے پرو ریٹ کیے جاتے ہیں اور انوائس میں دو اعشاری مقامات تک راؤنڈ کیے جاتے ہیں (مثلاً 2.55 گھنٹے)۔

• ماڈل گریڈر استعمال: اگر آپ ٹریننگ کے دوران آؤٹ پٹس کو "گریڈ" کرنے کے لیے OpenAI ماڈل استعمال کرتے ہیں، تو ان گریڈنگ کالز میں استعمال ہونے والے ٹوکنز کی بلنگ ٹریننگ مکمل ہونے کے بعد ہماری معیاری API ریٹس کے مطابق الگ سے کی جاتی ہے۔

ہم صرف اسی ٹریننگ کام کے لیے چارج کرتے ہیں جو واقعی آپ کے ماڈل کو اپڈیٹ کرتا ہے (جسے ہم "captured forward progress" کہتے ہیں)۔

ہم کن چیزوں کا بل لیتے ہیں

ہم اس وقت کا بل لیتے ہیں جو آپ کا ٹریننگ ورکر آپ کے ماڈل کو فعال طور پر ٹرین کرنے میں صرف کرتا ہے، خاص طور پر:

• فائن ٹیوننگ کے عمل کے دوران آپ کے ماڈل سے نمونے بنانا (جنہیں “رول آؤٹس” کہا جاتا ہے)

• ان آؤٹ پٹس کا ایک یا زیادہ گریڈرز کے ذریعے جائزہ لینا جنہیں آپ نے جاب پر متعین کیا ہے (گریڈرز کے بارے میں مزید جانیں)

• گریڈز کی بنیاد پر ویٹ اپ ڈیٹس کا حساب لگانا اور انہیں لاگو کرنا (بیک پروپیگیشن).

• آپ کے کنفیگر کیے گئے کسی بھی ویلیڈیشن (ایویلیوایشن) مرحلے کو چلانا.

زیادہ تر گریڈرز چلانے کے لیے “مفت” ہوتے ہیں، یعنی ہم کور ٹریننگ لوپ میں ان کے شامل کردہ وقت کے علاوہ ان کے استعمال کا اضافی چارج نہیں لیتے. اس کی استثنا ماڈل گریڈرز ہیں، جہاں ہم اوپر کی سرگرمیوں کے دوران ان گریڈرز کے استعمال کردہ ٹوکن بھی گنتے ہیں. یہ ٹوکن آپ کے انوائس پر الگ لائن آئٹم کے طور پر ظاہر ہوتے ہیں. ماڈل گریڈرز کے استعمال کردہ ٹوکنز کا بل معمول کے اِنفرنس ریٹس پر لیا جاتا ہے (OpenAI قیمتیں).

ہم کن چیزوں کے لیے بل نہیں کرتے

ہم درج ذیل پر صرف ہونے والے وقت کے لیے چارج نہیں کرتے:

• ٹریننگ شروع ہونے سے پہلے آپ کے ڈیٹا سیٹ کی توثیق یا جانچ۔

• آپ کے ڈیٹا سیٹ پر حفاظتی چیکس۔

• کمپیوٹ وسائل کے لیے قطار میں انتظار۔

• ماڈل ویٹس یا ڈیٹا سیٹس ڈاؤن لوڈ کرنا۔

• آپ کے ڈیٹا سیٹ کو ہمارے ٹریننگ فارمیٹ میں تیار (render) کرنا۔

• آپ کے فائن-ٹیون کیے گئے ماڈل کی پوسٹ-ٹریننگ حفاظتی جانچ۔

اگر ہماری طرف کی کسی خرابی کی وجہ سے ٹریننگ کا کام ضائع ہو جائے (مثال کے طور پر، اگر کوئی ورکر کریش ہو جائے اور اسے پچھلے چیک پوائنٹ پر واپس جانا پڑے)، تو ضائع شدہ کمپیوٹ وقت یا گریڈر ٹوکنز کے لیے آپ سے چارج نہیں لیا جاتا۔ اس بارے میں مزید تفصیل اگلے حصے میں ہے۔

Captured forward progress اور بلنگ ایونٹس

ٹریننگ آپ کے ماڈل میں کئی چھوٹی اپڈیٹس پر مشتمل ہوتی ہے۔ ہم ٹریک کرتے ہیں کہ ان میں سے کتنی اپڈیٹس کامیابی سے مکمل ہوتی ہیں۔ چارجز ان کامیاب اپڈیٹس سے وابستہ کمپیوٹ وقت اور گریڈر ٹوکنز کی بنیاد پر ہوتے ہیں۔

ہم اس وقت چارج جاری کرتے ہیں جب درج ذیل میں سے کوئی ایک "بلنگ ایونٹ" پیش آتا ہے:

• ٹریننگ کامیابی سے مکمل ہو جاتی ہے۔

• آپ ٹریننگ کو موقوف کرتے ہیں۔

• آپ ٹریننگ منسوخ کرتے ہیں۔

• ٹریننگ ناکام ہو جاتی ہے۔

ہر چارج پچھلے چارج کے بعد کیے گئے اضافی کام کا احاطہ کرتا ہے۔ مثال کے طور پر:

• اگر آپ کسی رن کو موقوف کرتے ہیں، تو ہم ایک چیک پوائنٹ محفوظ کرتے ہیں اور پچھلے چارج کے بعد استعمال ہوئے کمپیوٹ وقت اور گریڈر ٹوکنز کے لیے آپ سے چارج لیتے ہیں۔

• جب آپ دوبارہ شروع کرتے ہیں، تو ٹریننگ چیک پوائنٹ سے جاری رہتی ہے۔ اگلا چارج (تکمیل، ایک اور توقف، منسوخی، یا ناکامی پر) صرف دوبارہ شروع کرنے کے بعد کیے گئے اضافی کام کا احاطہ کرے گا۔

• اگر آپ کسی رن کو منسوخ کرتے ہیں، تو منسوخی تک کیے گئے کام کے لیے آپ سے چارج لیا جاتا ہے۔

• اگر ٹریننگ ناکام ہو جائے اور پچھلے چارج کے بعد کا کام ضائع ہو جائے، تو ضائع شدہ حصے کی بلنگ نہیں کی جاتی۔

یہ "captured forward progress" طریقہ یقینی بناتا ہے کہ آپ صرف اسی کام کی ادائیگی کریں جو آپ کے ماڈل میں برقرار رکھا گیا ہو یا جسے آپ نے جان بوجھ کر ترک کیا ہو۔

جاب کی پیش رفت دیکھنا

RFT جابز میں usage_metrics نام کا ایک فیلڈ ہوتا ہے، جو موجودہ مرحلے تک جاب کے کل استعمال کو دستاویز کرتا ہے. اس میں ٹریننگ پر صرف کیا گیا وقت، اور جاب پر تمام ماڈل گریڈرز میں استعمال ہونے والے سبھی ٹوکن شامل ہیں. اس فیلڈ کو API (GET /v1/fine_tuning/jobs/{job_id}) کے ذریعے یا فائن ٹیوننگ ڈیش بورڈ کے ذریعے دیکھا جا سکتا ہے.

ٹریننگ کے وقت کو متاثر کرنے والے عوامل

چونکہ بلنگ وقت کی بنیاد پر ہوتی ہے، اس لیے آپ کے کنفیگریشن کے انتخاب براہِ راست لاگت کو متاثر کرتے ہیں۔ اہم عوامل میں شامل ہیں:

• مسئلے کی دشواری: اگر آپ کا ڈیٹا سیٹ مشکل مسائل پر مشتمل ہے، تو ماڈل غالباً ہر مسئلے پر زیادہ وقت ریزننگ میں صرف کرے گا، جس سے ہر سیمپل تیار کرنے میں زیادہ وقت لگے گا۔

• کمپیوٹ کی شدت: compute_multiplier ہائپرپیرامیٹر یہ کنٹرول کرتا ہے کہ آپ ہر ٹریننگ مرحلے میں کتنی کمپیوٹ استعمال کرتے ہیں۔ زیادہ ویلیوز ماڈل کو ہر ڈیٹا پوائنٹ پر زیادہ تفصیل سے ریزننگ کرنے کی ترغیب دیتی ہیں، جس سے ہر مرحلہ زیادہ سست چلتا ہے۔

• ویلیڈیشن سیٹنگز:

  • بڑا ویلیڈیشن سیٹ جانچ پر صرف ہونے والا وقت بڑھا دیتا ہے۔

  • eval_samples بڑھانے سے (ہر ویلیڈیشن مثال کے لیے گریڈ کیے جانے والے ماڈل آؤٹ پٹس کی تعداد) ویلیڈیشن کا وقت بڑھ جاتا ہے۔

  • ویلیڈیشن زیادہ بار چلانے سے (کم eval_interval) ویلیڈیشن پر صرف ہونے والے وقت کا تناسب بڑھ جاتا ہے۔

• گریڈر کی کارکردگی:

  • بڑے یا زیادہ صلاحیت والے ماڈل گریڈرز چھوٹوں کے مقابلے میں گریڈ واپس کرنے میں زیادہ وقت لیتے ہیں۔ مثال کے طور پر، ریزننگ ماڈل کے ساتھ گریڈنگ، نان-ریزننگ ماڈل کے مقابلے میں 10 گنا زیادہ وقت لے سکتی ہے۔

  • پیچیدہ Python گریڈنگ فنکشنز سادہ فنکشنز کے مقابلے میں زیادہ وقت لیتے ہیں۔

یہ سیٹنگز آپ کو لاگت، رفتار، اور ماڈل کے معیار کے درمیان توازن قائم کرنے دیتی ہیں۔ مثال کے طور پر، بار بار ویلیڈیشن مسائل کو جلد پکڑ سکتی ہے لیکن لاگت بڑھا دیتی ہے۔ زیادہ جدید ماڈل کے ساتھ گریڈنگ، گریڈنگ کی درستگی میں نمایاں بہتری لا سکتی ہے، لیکن ہر گریڈنگ مرحلے کو سست کر دے گی اور جابز کو زیادہ مہنگا بنا دے گی۔

لاگت کا نظم

اپنے اخراجات کو قابو میں رکھنے کے لیے:

• یہ سمجھنے کے لیے کہ آپ کی کنفیگریشن وقت کو کیسے متاثر کرتی ہے، مختصر رنز سے آغاز کریں۔

• ویلیڈیشن مثالوں اور eval_samples کی مناسب تعداد استعمال کریں۔ ضرورت سے زیادہ بار ویلیڈیشن سے گریز کریں۔

• ایسا سب سے چھوٹا گریڈر ماڈل منتخب کریں جو آپ کے معیار کی ضروریات پوری کرتا ہو۔

• کسٹم Python گریڈرز کو مؤثر رکھیں۔

• کنورجنس کی رفتار اور لاگت میں توازن کے لیے compute_multiplier کو ایڈجسٹ کریں۔

• ڈیش بورڈ یا API کے ذریعے اپنی رن کی نگرانی کریں۔ آپ کسی بھی وقت اسے موقوف یا منسوخ کر سکتے ہیں۔

مثالیں

کامیاب ٹریننگ رن

اس صورت میں، کل وال کلاک وقت 6 گھنٹے ہے، لیکن صرف 4 گھنٹے بل کے قابل ہیں. لاگت 4 گھنٹے × $100/گھنٹہ = $400 ہوگی.

ناکام جاب کی مثال

اس مثال میں، رن 2 گھنٹے ٹرین کرتا ہے، ایک چیک پوائنٹ لکھتا ہے، 1 گھنٹہ مزید ٹرین کرتا ہے، لیکن پھر ناکام ہو جاتا ہے. چیک پوائنٹ تک کی صرف 2 گھنٹے کی ٹریننگ بل کے قابل ہے.

اگرچہ مجموعی طور پر ٹریننگ میں 3 گھنٹے لگے، صرف 2 گھنٹے قابل استعمال چیک پوائنٹ میں “محفوظ” ہیں اور انہی کا بل لیا جاتا ہے. ناکامی کی وجہ سے ضائع ہونے والا ایک گھنٹے کا ٹریننگ کام آپ کی ذمہ داری نہیں ہے. لاگت 2 گھنٹے × $100/گھنٹہ = $200 ہوگی.

اکثر پوچھے جانے والے سوالات

مجھ سے چارج کب لیا جاتا ہے؟

ہم اس وقت بل بناتے ہیں جب آپ کا رن مکمل ہو، روک دیا جائے، منسوخ ہو، یا ناکام ہو جائے. ہر بل پچھلے بل کے بعد کیے گئے کام کا احاطہ کرتا ہے.

اگر رن ناکام ہو جائے تو کیا مجھے ادائیگی کرنی ہوگی؟

اگر کوئی رن ہماری غلطی کی وجہ سے ناکام ہو اور حالیہ ٹریننگ کا کام ضائع ہو جائے، تو ضائع شدہ حصے کے لیے آپ سے چارج نہیں لیا جاتا. اگر آپ کوئی رن منسوخ کرتے ہیں، تو منسوخی تک کیے گئے کام کا چارج لیا جاتا ہے.

گریڈر ماڈل ٹوکنز کا بل کیسے لیا جاتا ہے؟

ہم آپ کے کنفیگر کیے گئے کسی بھی ماڈل گریڈرز کے استعمال کردہ ٹوکن گنتے ہیں. ٹریننگ مکمل ہونے کے بعد، ہم ان ٹوکنز کا بل اپنے معیاری فی ٹوکن ریٹس پر لیتے ہیں.

کیا میں کسی رن کو روک کر دوبارہ شروع کر سکتا ہوں؟

ہاں. جب آپ روکتے ہیں، ہم ایک چیک پوائنٹ محفوظ کرتے ہیں اور اب تک کیے گئے کام کا چارج لیتے ہیں. جب آپ دوبارہ شروع کرتے ہیں، تو آپ سے صرف دوبارہ شروع کرنے کے بعد کیے گئے اضافی کام کا چارج لیا جائے گا.

اگر Reinforcement Fine‑Tuning بلنگ کے بارے میں آپ کے مزید سوالات ہیں، تو ہماری سپورٹ ٹیم سے رابطہ کریں.