RFT အတွက် ဘီလ်ကောက်ခံမှု လုပ်ဆောင်ပုံ

Reinforcement Fine‑Tuning (RFT) သည် အားဖြည့် သင်ယူလေ့လာခြင်းကို အသုံးပြု၍ OpenAI ၏ ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားပေးသော မော်ဒယ်များ၏ စွမ်းဆောင်ရည်ကို သင့်အနေဖြင့် ပိုမိုကောင်းမွန်အောင် ပြုလုပ်နိုင်စေသည်။ လေ့ကျင့်ရေးဒေတာဆက်ထဲရှိ တိုကင် အရေအတွက်အလိုက် ဘီလ်ကောက်ခံသည့် ကျွန်ုပ်တို့၏ supervised သို့မဟုတ် preference fine‑tuning ဝန်ဆောင်မှုများနှင့် မတူဘဲ၊ RFT ကို သင်၏ လေ့ကျင့်မှုလုပ်ဆောင်ချက်က အဓိက machine learning လုပ်ငန်းကို ဆောင်ရွက်ရန် သုံးစွဲသော အချိန်အပေါ် အခြေခံ၍ ဘီလ်ကောက်ခံသည်။

စျေးနှုန်း

• တွက်ချက်မှု- o4-mini-2025-04-16 အတွက် အဓိကလေ့ကျင့်မှုစက်ဝန်းတွင် အသုံးပြုသည့် အမှန်တကယ်ကြာချိန် တစ်နာရီလျှင် $100။ ကျသင့်ငွေကို စက္ကန့်အလိုက် အချိုးကျတွက်ချက်ပြီး ပြေစာတွင် ဒဿမနှစ်နေရာအထိ ဖော်ပြပါသည် (ဥပမာ ၂.၅၅ နာရီ)။

• မော်ဒယ်အကဲဖြတ်စနစ် အသုံးပြုမှု- လေ့ကျင့်နေစဉ် ရလဒ်များကို "အကဲဖြတ်ရန်" OpenAI မော်ဒယ်ကို အသုံးပြုပါက အဆိုပါအကဲဖြတ်ခေါ်ဆိုမှုများတွင် သုံးစွဲသည့် တိုကင်များအတွက် လေ့ကျင့်မှုပြီးဆုံးပြီးနောက် ကျွန်ုပ်တို့၏ ပုံမှန် API နှုန်းထားများဖြင့် သီးခြားကျသင့်ငွေ ကောက်ခံပါသည်။

သင့်မော်ဒယ်ကို အမှန်တကယ် အပ်ဒိတ်လုပ်ပေးသည့် လေ့ကျင့်မှုအတွက်သာ ကျသင့်ငွေ ကောက်ခံပါသည် (၎င်းကို "မှတ်တမ်းတင်ရရှိသော ရှေ့ဆက်တိုးတက်မှု" ဟု ခေါ်ပါသည်)။

ကျွန်ုပ်တို့ ငွေကောက်ခံသောအရာများ

သင့် training worker က သင့်မော်ဒယ်ကို တက်ကြွစွာ လေ့ကျင့်ရာတွင် အသုံးပြုသည့် အချိန်အတွက် ကျွန်ုပ်တို့ ငွေကောက်ခံပါသည်၊ အထူးသဖြင့်—

• fine-tuning လုပ်ငန်းစဉ်အတွင်း သင့်မော်ဒယ်မှ နမူနာများ ထုတ်လုပ်ခြင်း (“rollouts” ဟု ခေါ်သည်)

• job ပေါ်တွင် သင်သတ်မှတ်ထားသော grader တစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော grader များဖြင့် ထို output များကို အကဲဖြတ်ခြင်း (grader များအကြောင်း ပိုမိုလေ့လာရန်)

• grade များအပေါ် အခြေခံ၍ weight update များကို တွက်ချက်ပြီး အသုံးပြုခြင်း (backpropagation)။

• သင် configure လုပ်ထားသည့် validation (evaluation) အဆင့်များကို လုပ်ဆောင်ခြင်း။

grader အများစုကို run ရန် “အခမဲ့” ဖြစ်သည်၊ ဆိုလိုသည်မှာ core training loop သို့ ၎င်းတို့ ထည့်ဝင်သော အချိန်ပမာဏမှလွဲ၍ ၎င်းတို့အသုံးပြုမှုအတွက် ထပ်ဆောင်း ငွေမကောက်ခံပါ။ ဤအရာ၏ ခြွင်းချက်မှာ မော်ဒယ် grader များဖြစ်ပြီး အထက်ပါ လုပ်ဆောင်မှုများအတွင်း ထို grader များ သုံးစွဲသော တိုကင်များကိုလည်း ကျွန်ုပ်တို့ စုစုပေါင်းတွက်ချက်ပါသည်။ ဤတိုကင်များသည် သင့် invoice ပေါ်တွင် သီးခြား line item အဖြစ် ပေါ်လာပါသည်။ မော်ဒယ် grader များ သုံးစွဲသော တိုကင်များကို ပုံမှန် inference နှုန်းထားများဖြင့် ငွေကောက်ခံပါသည် (OpenAI စျေးနှုန်းများ)။

ငွေမကောက်ခံသည့်အရာများ

အောက်ပါအချိန်များအတွက် ကျွန်ုပ်တို့ ငွေမကောက်ခံပါ:

• လေ့ကျင့်ရေး မစတင်မီ သင့် dataset ကို စစ်ဆေးအတည်ပြုခြင်း သို့မဟုတ် စိစစ်ခြင်း။

• သင့် dataset အပေါ် လုံခြုံရေး စစ်ဆေးမှုများ။

• compute resource များအတွက် queue ထဲတွင် စောင့်ဆိုင်းခြင်း။

• မော်ဒယ် weights သို့မဟုတ် dataset များကို ဒေါင်းလုဒ်လုပ်ခြင်း။

• သင့် dataset ကို ကျွန်ုပ်တို့၏ training format အဖြစ် ပြင်ဆင်ခြင်း (rendering)။

• fine‑tune လုပ်ထားသော သင့်မော်ဒယ်အတွက် လေ့ကျင့်ရေးပြီးနောက် လုံခြုံရေး အကဲဖြတ်မှုများ။

လေ့ကျင့်ရေးအလုပ်သည် ကျွန်ုပ်တို့ဘက်မှ အမှားတစ်ခုကြောင့် ဆုံးရှုံးသွားပါက (ဥပမာ worker တစ်ခု crash ဖြစ်ပြီး ယခင် checkpoint သို့ roll back လုပ်ရပါက) ဆုံးရှုံးသွားသော compute time သို့မဟုတ် grader တိုကင် များအတွက် သင့်ကို ငွေမကောက်ခံပါ။ နောက်အပိုင်းတွင် ဤအကြောင်း အသေးစိတ် ဆက်လက်ဖော်ပြထားသည်။

Captured forward progress နှင့် billing event များ

လေ့ကျင့်ရေးတွင် သင့်မော်ဒယ်အတွက် သေးငယ်သော update အများအပြား ပါဝင်သည်။ ဤ update များအနက် ဘယ်နှခု အောင်မြင်စွာ ပြီးစီးသွားသည်ကို ကျွန်ုပ်တို့ ခြေရာခံပါသည်။ ကောက်ခံမှုများသည် အောင်မြင်သော update များနှင့် သက်ဆိုင်သည့် compute time နှင့် grader တိုကင် များအပေါ် အခြေခံပါသည်။

အောက်ပါ "billing event" များထဲမှ တစ်ခု ဖြစ်ပေါ်လာသည့်အခါ ကျွန်ုပ်တို့ ငွေကောက်ခံပါသည်:

• လေ့ကျင့်ရေး အောင်မြင်စွာ ပြီးဆုံးသည်။

• သင် လေ့ကျင့်ရေးကို ခေတ္တရပ်သည်။

• သင် လေ့ကျင့်ရေးကို ပယ်ဖျက်သည်။

• လေ့ကျင့်ရေး မအောင်မြင်ပါ။

ကောက်ခံမှုတစ်ခုစီတွင် နောက်ဆုံးကောက်ခံမှုနောက်ပိုင်း တိုးလာသော အလုပ်ပမာဏ ပါဝင်သည်။ ဥပမာ:

• သင် run တစ်ခုကို ခေတ္တရပ်ပါက၊ ကျွန်ုပ်တို့ checkpoint တစ်ခု သိမ်းဆည်းပြီး နောက်ဆုံးကောက်ခံမှုနောက်ပိုင်း အသုံးပြုခဲ့သော compute time နှင့် grader တိုကင် များအတွက် ငွေကောက်ခံပါသည်။

• သင် ပြန်စတင်သောအခါ လေ့ကျင့်ရေးသည် checkpoint မှ ဆက်လက်သွားမည်။ နောက်တစ်ကြိမ် ကောက်ခံမှုသည် (ပြီးဆုံးမှု၊ နောက်ထပ် ခေတ္တရပ်မှု၊ ပယ်ဖျက်မှု သို့မဟုတ် မအောင်မြင်မှုတွင်) ပြန်စတင်ပြီးနောက် ထပ်မံလုပ်ဆောင်ထားသော အလုပ်အတွက်သာ ဖြစ်မည်။

• သင် run တစ်ခုကို ပယ်ဖျက်ပါက၊ ပယ်ဖျက်ချိန်အထိ ပြီးစီးထားသော အလုပ်အတွက် ငွေကောက်ခံပါသည်။

• လေ့ကျင့်ရေး မအောင်မြင်ပြီး နောက်ဆုံးကောက်ခံမှုနောက်ပိုင်း အလုပ်များ ဆုံးရှုံးသွားပါက၊ ဆုံးရှုံးသွားသော အပိုင်းအတွက် ငွေမကောက်ခံပါ။

ဤ "captured forward progress" နည်းလမ်းကြောင့် သင့်မော်ဒယ်တွင် ထိန်းသိမ်းထားသော အလုပ်အတွက် သို့မဟုတ် သင် ရည်ရွယ်ချက်ရှိရှိ စွန့်လွှတ်သော အလုပ်အတွက်သာ သင် ငွေပေးချေရမည်ဖြစ်သည်။

အလုပ်တိုးတက်မှုကို ကြည့်ရှုခြင်း

RFT အလုပ်များတွင် လက်ရှိအဆင့်အထိ အလုပ်၏ စုစုပေါင်းအသုံးပြုမှုကို မှတ်တမ်းတင်ထားသည့် usage_metrics ဟုခေါ်သော အကွက်တစ်ခု ပါရှိသည်။ ၎င်းတွင် လေ့ကျင့်ရန် အသုံးပြုသည့်အချိန်နှင့် အလုပ်ရှိ မော်ဒယ်အကဲဖြတ်စနစ်အားလုံးက အသုံးပြုသည့် တိုကင်အားလုံး ပါဝင်သည်။ ဤအကွက်ကို API (GET /v1/fine_tuning/jobs/{job_id}) သို့မဟုတ် အသေးစိတ်ချိန်ညှိမှု ဒက်ရှ်ဘုတ်မှတစ်ဆင့် စစ်ဆေးနိုင်သည်။

လေ့ကျင့်ချိန်အပေါ် သက်ရောက်သည့် အချက်များ

ကျသင့်ငွေကို အချိန်အလိုက် တွက်ချက်သောကြောင့် သင်ရွေးချယ်သည့် ဖွဲ့စည်းသတ်မှတ်ချက်များက ကုန်ကျစရိတ်ကို တိုက်ရိုက်သက်ရောက်စေသည်။ အဓိကအချက်များမှာ အောက်ပါအတိုင်းဖြစ်သည်။

• ပြဿနာ၏ ခက်ခဲမှု- သင့်ဒေတာအစုတွင် ခက်ခဲသောပြဿနာများ ပါဝင်ပါက မော်ဒယ်သည် ပြဿနာတစ်ခုစီကို ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားရန် အချိန်ပိုယူနိုင်သဖြင့် နမူနာတစ်ခုစီ ထုတ်လုပ်ရန် အချိန်ပိုကြာမည်။

• တွက်ချက်မှု ပြင်းအား- compute_multiplier ဟိုက်ပါပါရာမီတာသည် လေ့ကျင့်မှုအဆင့်တစ်ခုစီတွင် ပြုလုပ်မည့် တွက်ချက်မှုပမာဏကို ထိန်းချုပ်သည်။ တန်ဖိုးပိုမြင့်လေ မော်ဒယ်က ဒေတာအမှတ်တစ်ခုစီကို ပိုမိုအသေးစိတ် ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားလေဖြစ်ပြီး အဆင့်တစ်ခုစီ လုပ်ဆောင်မှု ပိုနှေးစေသည်။

• အတည်ပြုစစ်ဆေးမှု ဆက်တင်များ-

• အကဲဖြတ်စနစ်၏ စွမ်းဆောင်ရည်-

• ပိုကြီးသော သို့မဟုတ် ပိုစွမ်းဆောင်ရည်မြင့်သော မော်ဒယ်အကဲဖြတ်စနစ်များသည် အသေးစားစနစ်များထက် အမှတ်ရလဒ် ပြန်ပေးရန် ပိုကြာသည်။ ဥပမာ၊ ကျိုးကြောင်းသင့်လျော်စွာ စဉ်းစားပေးသော မော်ဒယ်ဖြင့် အကဲဖြတ်ခြင်းသည် ယင်းသို့ စဉ်းစားမှုမပြုသော မော်ဒယ်ဖြင့် အကဲဖြတ်ခြင်းထက် ၁၀ ဆ ပိုကြာနိုင်သည်။

• ရှုပ်ထွေးသော Python အကဲဖြတ်ဖန်ရှင်များသည် ရိုးရှင်းသောဖန်ရှင်များထက် လုပ်ဆောင်ရန် ပိုကြာသည်။

ဤဆက်တင်များဖြင့် ကုန်ကျစရိတ်၊ မြန်နှုန်းနှင့် မော်ဒယ်အရည်အသွေးတို့ကို လိုအပ်သလို ချိန်ညှိနိုင်သည်။ ဥပမာ၊ မကြာခဏ အတည်ပြုစစ်ဆေးခြင်းက ပြဿနာများကို စောစီးစွာ တွေ့ရှိနိုင်သော်လည်း ကုန်ကျစရိတ် ပိုများစေသည်။ ပိုအဆင့်မြင့်သော မော်ဒယ်ဖြင့် အကဲဖြတ်ခြင်းက တိကျမှုကို သိသိသာသာ မြှင့်တင်နိုင်သော်လည်း အကဲဖြတ်မှုအဆင့်တိုင်းကို နှေးကွေးစေပြီး အလုပ်ကုန်ကျစရိတ် ပိုများစေမည်။

ကုန်ကျစရိတ် စီမံခြင်း

သင့်အသုံးစရိတ်ကို ထိန်းချုပ်ရန်-

• သင့်ဖွဲ့စည်းသတ်မှတ်ချက်က ကြာချိန်အပေါ် မည်သို့သက်ရောက်သည်ကို နားလည်ရန် အချိန်တို လုပ်ဆောင်မှုများဖြင့် စတင်ပါ။

• သင့်လျော်သော အတည်ပြုစစ်ဆေးမှု နမူနာအရေအတွက်နှင့် eval_samples ကို အသုံးပြုပါ။ လိုအပ်သည်ထက်ပို၍ မကြာခဏ အတည်ပြုစစ်ဆေးခြင်းကို ရှောင်ပါ။

• သင့်အရည်အသွေးလိုအပ်ချက်များနှင့် ကိုက်ညီသည့် အသေးဆုံး အကဲဖြတ်မော်ဒယ်ကို ရွေးပါ။

• စိတ်ကြိုက် Python အကဲဖြတ်စနစ်များကို ထိရောက်စွာ လုပ်ဆောင်နိုင်အောင် ထားပါ။

• ပန်းတိုင်သို့ ချဉ်းကပ်သည့်မြန်နှုန်းနှင့် ကုန်ကျစရိတ်ကို ချိန်ညှိရန် compute_multiplier ကို ပြင်ဆင်ပါ။

• သင့်လုပ်ဆောင်မှုကို ဒက်ရှ်ဘုတ် သို့မဟုတ် API မှတစ်ဆင့် စောင့်ကြည့်ပါ။ အချိန်မရွေး ခေတ္တရပ်နိုင်သည် သို့မဟုတ် ပယ်ဖျက်နိုင်သည်။

ဥပမာများ

အောင်မြင်သော လေ့ကျင့်ရေး run

ဤကိစ္စတွင် စုစုပေါင်း wall-clock အချိန်သည် 6 နာရီ ဖြစ်သော်လည်း ငွေကောက်ခံနိုင်သည်မှာ 4 နာရီသာ ဖြစ်သည်။ ကုန်ကျစရိတ်မှာ 4 နာရီ × $100/နာရီ = $400 ဖြစ်မည်။

မအောင်မြင်သော job ဥပမာ

ဤဥပမာတွင် run သည် 2 နာရီ လေ့ကျင့်ပြီး checkpoint တစ်ခု ရေးသိမ်းကာ နောက်ထပ် 1 နာရီ လေ့ကျင့်သော်လည်း ထို့နောက် မအောင်မြင်ပါ။ checkpoint အထိ လေ့ကျင့်ခဲ့သော 2 နာရီသာ ငွေကောက်ခံနိုင်သည်။

စုစုပေါင်း လေ့ကျင့်ရာတွင် 3 နာရီ အသုံးပြုခဲ့သော်လည်း အသုံးပြုနိုင်သော checkpoint တွင် “ဖမ်းယူထား” ခံရသော 2 နာရီသာ ငွေကောက်ခံပါသည်။ မအောင်မြင်မှုကြောင့် ဆုံးရှုံးသွားသော လေ့ကျင့်ရေးအလုပ် 1 နာရီအတွက် သင့်တွင် တာဝန်မရှိပါ။ ကုန်ကျစရိတ်မှာ 2 နာရီ × $100/နာရီ = $200 ဖြစ်မည်။

မေးလေ့ရှိသော မေးခွန်းများ

မည်သည့်အချိန်တွင် ကျသင့်ငွေ ကောက်ခံပါသလဲ။

သင့်လုပ်ဆောင်မှု ပြီးဆုံးသည့်အခါ၊ ခေတ္တရပ်သည့်အခါ၊ ပယ်ဖျက်သည့်အခါ သို့မဟုတ် မအောင်မြင်သည့်အခါ ကျသင့်ငွေ တွက်ချက်ပါသည်။ ကျသင့်ငွေတစ်ခုစီတွင် ယခင်ကျသင့်ငွေ တွက်ချက်ပြီးချိန်မှစ၍ လုပ်ဆောင်ထားသော အလုပ်များ ပါဝင်သည်။

run မအောင်မြင်ပါက ငွေပေးရမလား။

ကျွန်ုပ်တို့၏ အမှားကြောင့် run မအောင်မြင်ပြီး မကြာသေးမီက လေ့ကျင့်ရေးအလုပ် တစ်စုံတစ်ရာ ဆုံးရှုံးပါက ဆုံးရှုံးသွားသော အပိုင်းအတွက် သင့်ထံမှ ငွေမကောက်ခံပါ။ run တစ်ခုကို သင်ပယ်ဖျက်ပါက ပယ်ဖျက်ချိန်အထိ လုပ်ဆောင်ပြီးသော အလုပ်အတွက် ငွေကောက်ခံပါသည်။

grader မော်ဒယ် တိုကင်များကို မည်သို့ ငွေကောက်ခံပါသလဲ။

သင် configure လုပ်ထားသော မော်ဒယ် grader များ အသုံးပြုသည့် တိုကင်များကို ကျွန်ုပ်တို့ ရေတွက်ပါသည်။ လေ့ကျင့်ရေး ပြီးဆုံးပြီးနောက် ထိုတိုကင်များကို ကျွန်ုပ်တို့၏ စံ per-token နှုန်းထားများဖြင့် ငွေကောက်ခံပါသည်။

run တစ်ခုကို ခေတ္တရပ်ပြီး ပြန်လည်စတင်နိုင်ပါသလား။

ဟုတ်ကဲ့။ သင် ခေတ္တရပ်သောအခါ ကျွန်ုပ်တို့က checkpoint တစ်ခု သိမ်းပြီး ထိုအချိန်အထိ လုပ်ပြီးသော အလုပ်အတွက် ငွေကောက်ခံပါသည်။ သင် ပြန်လည်စတင်သောအခါ ပြန်လည်စတင်ပြီးနောက် ပြုလုပ်သော ထပ်ဆောင်းအလုပ်အတွက်သာ ငွေကောက်ခံပါမည်။

Reinforcement Fine‑Tuning ငွေကောက်ခံမှုနှင့် ပတ်သက်၍ အခြားမေးခွန်းများရှိပါက ကျွန်ုပ်တို့၏ support team ကို ဆက်သွယ်ပါ။