RFT-യുടെ ബില്ലിംഗ് എങ്ങനെ പ്രവർത്തിക്കുന്നു

റീഇൻഫോഴ്‌സ്‌മെന്റ് ഫൈൻ-ട്യൂണിംഗ് (RFT) റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് ഉപയോഗിച്ച് OpenAI-യുടെ റീസണിംഗ് മോഡലുകളുടെ പ്രകടനം മെച്ചപ്പെടുത്താൻ നിങ്ങളെ സഹായിക്കുന്നു. ട്രെയിനിംഗ് ഡാറ്റാസെറ്റിലെ ടോക്കണുകളുടെ എണ്ണത്തെ അടിസ്ഥാനമാക്കി ബിൽ ചെയ്യുന്ന ഞങ്ങളുടെ സൂപ്പർവൈസ്ഡ് അല്ലെങ്കിൽ പ്രിഫറൻസ് ഫൈൻ-ട്യൂണിംഗ് സേവനങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി, നിങ്ങളുടെ ട്രെയിനിംഗ് റൺ പ്രധാന മെഷീൻ ലേണിംഗ് ജോലികൾ നിർവഹിക്കാൻ ചെലവഴിക്കുന്ന സമയത്തെ അടിസ്ഥാനമാക്കിയാണ് RFT-യുടെ ബില്ലിംഗ്.

നിരക്കുകൾ.

• കമ്പ്യൂട്ട്: o4-mini-2025-04-16 ന് വേണ്ടി പ്രധാന പരിശീലന ലൂപ്പിൽ ചെലവഴിക്കുന്ന wall-clock സമയത്തിന് മണിക്കൂറിന് $100. ചാർജുകൾ സെക്കൻഡ് അടിസ്ഥാനത്തിൽ പ്രോറേറ്റ് ചെയ്യുകയും ഇൻവോയിസിൽ രണ്ട് ദശാംശ സ്ഥാനത്തേക്ക് round ചെയ്യുകയും ചെയ്യും (ഉദാ., 2.55 മണിക്കൂർ).

• മോഡൽ ഗ്രേഡർ ഉപയോഗം: പരിശീലനത്തിനിടെ ഔട്ട്പുട്ടുകൾ “grade” ചെയ്യാൻ നിങ്ങൾ OpenAI മോഡൽ ഉപയോഗിക്കുന്നുവെങ്കിൽ, ആ grading call-കൾ ഉപയോഗിക്കുന്ന ടോക്കണുകൾ പരിശീലനം പൂർത്തിയായതിന് ശേഷം ഞങ്ങളുടെ സ്റ്റാൻഡേർഡ് API നിരക്കിൽ പ്രത്യേകം ബിൽ ചെയ്യും.

നിങ്ങളുടെ മോഡൽ യഥാർത്ഥത്തിൽ അപ്‌ഡേറ്റ് ചെയ്യുന്ന പരിശീലന പ്രവർത്തനത്തിനാണ് മാത്രം ഞങ്ങൾ ചാർജ് ചെയ്യുന്നത് (ഇത് ഞങ്ങൾ “captured forward progress” എന്ന് വിളിക്കുന്നു).

ഞങ്ങൾ ബിൽ ചെയ്യുന്നത് എന്തിന്

നിങ്ങളുടെ പരിശീലന വർക്കർ നിങ്ങളുടെ മോഡലിനെ സജീവമായി പരിശീലിപ്പിക്കാൻ ചെലവഴിക്കുന്ന സമയത്തിനാണ് ഞങ്ങൾ ബിൽ ചെയ്യുന്നത്, പ്രത്യേകിച്ച്:

• ഫൈൻ-ട്യൂണിംഗ് പ്രക്രിയയിൽ നിങ്ങളുടെ മോഡലിൽ നിന്ന് സാമ്പിളുകൾ സൃഷ്ടിക്കൽ (“റോളൗട്ടുകൾ” എന്ന് അറിയപ്പെടുന്നു)

• ജോബിൽ നിങ്ങൾ നിർവചിച്ചിട്ടുള്ള ഒന്നോ അതിലധികമോ ഗ്രേഡറുകൾ ഉപയോഗിച്ച് ആ ഔട്ട്‌പുട്ടുകൾ വിലയിരുത്തൽ (ഗ്രേഡറുകളെക്കുറിച്ച് കൂടുതലറിയുക)

• ഗ്രേഡുകളെ അടിസ്ഥാനമാക്കി വെയ്റ്റ് അപ്‌ഡേറ്റുകൾ കണക്കാക്കി പ്രയോഗിക്കൽ (ബാക്ക്‌പ്രൊപ്പഗേഷൻ).

• നിങ്ങൾ കോൺഫിഗർ ചെയ്തിട്ടുള്ള ഏതെങ്കിലും സാധൂകരണ (മൂല്യനിർണയ) ഘട്ടങ്ങൾ പ്രവർത്തിപ്പിക്കൽ.

മിക്ക ഗ്രേഡറുകളും പ്രവർത്തിപ്പിക്കാൻ “സൗജന്യമാണ്”; അതായത് കോർ പരിശീലന ലൂപ്പിലേക്ക് അവ സംഭാവന ചെയ്യുന്ന സമയത്തിന് പുറമേ അവയുടെ ഉപയോഗത്തിന് ഞങ്ങൾ അധിക നിരക്ക് ഈടാക്കുന്നില്ല. ഇതിന് അപവാദം മോഡൽ ഗ്രേഡറുകളാണ്; മുകളിലെ പ്രവർത്തനങ്ങളിൽ ആ ഗ്രേഡറുകൾ ഉപയോഗിക്കുന്ന ടോക്കണുകളും ഞങ്ങൾ കണക്കാക്കും. ഈ ടോക്കണുകൾ നിങ്ങളുടെ ഇൻവോയ്സിൽ പ്രത്യേക ലൈൻ ഇനമായി പ്രത്യക്ഷപ്പെടും. മോഡൽ ഗ്രേഡറുകൾ ഉപയോഗിക്കുന്ന ടോക്കണുകൾ സാധാരണ ഇൻഫറൻസ് നിരക്കുകളിൽ ബിൽ ചെയ്യും (OpenAI നിരക്കുകൾ).

ഞങ്ങൾ ബിൽ ചെയ്യാത്തത്.

താഴെ പറയുന്ന കാര്യങ്ങൾക്കായി ചെലവഴിക്കുന്ന സമയത്തിന് ഞങ്ങൾ ചാർജ് ചെയ്യുന്നില്ല.

• പരിശീലനം ആരംഭിക്കുന്നതിന് മുമ്പ് നിങ്ങളുടെ ഡാറ്റാസെറ്റ് വാലിഡേറ്റ് ചെയ്യുകയോ പരിശോധിക്കുകയോ ചെയ്യുന്നത്.

• നിങ്ങളുടെ ഡാറ്റാസെറ്റിലെ സുരക്ഷാ പരിശോധനകൾ.

• കംപ്യൂട്ട് വിഭവങ്ങൾക്കായി queue-യിൽ കാത്തിരിപ്പ്.

• മോഡൽ weights അല്ലെങ്കിൽ ഡാറ്റാസെറ്റുകൾ ഡൗൺലോഡ് ചെയ്യുന്നത്.

• ഞങ്ങളുടെ പരിശീലന ഫോർമാറ്റിലേക്ക് നിങ്ങളുടെ ഡാറ്റാസെറ്റ് തയ്യാറാക്കുന്നത് (render ചെയ്യുന്നത്).

• നിങ്ങളുടെ fine-tuned മോഡലിന്റെ post-training സുരക്ഷാ മൂല്യനിർണയങ്ങൾ.

ഞങ്ങളുടെ ഭാഗത്തെ ഒരു പിശക് മൂലം പരിശീലന പ്രവർത്തനം നഷ്ടപ്പെട്ടാൽ (ഉദാഹരണത്തിന്, ഒരു worker crash ചെയ്യുകയും മുൻ checkpoint-ലേക്ക് roll back ചെയ്യേണ്ടിവരികയും ചെയ്താൽ), നഷ്ടപ്പെട്ട compute സമയത്തിനോ grader ടോക്കണുകൾക്കോ നിങ്ങൾക്ക് ചാർജ് ഉണ്ടാകില്ല. ഇതിനെക്കുറിച്ചുള്ള കൂടുതൽ വിശദാംശങ്ങൾ അടുത്ത വിഭാഗത്തിലുണ്ട്.

Captured forward progress ഉം billing event-ുകളും.

പരിശീലനം നിങ്ങളുടെ മോഡലിലേക്കുള്ള നിരവധി ചെറിയ അപ്‌ഡേറ്റുകൾ ഉൾക്കൊള്ളുന്നു. ഇവയിൽ എത്ര അപ്‌ഡേറ്റുകൾ വിജയകരമായി പൂർത്തിയാകുന്നു എന്ന് ഞങ്ങൾ ട്രാക്ക് ചെയ്യുന്നു. ഈ വിജയകരമായ അപ്‌ഡേറ്റുകളുമായി ബന്ധപ്പെട്ട compute സമയവും grader ടോക്കണുകളും അടിസ്ഥാനമാക്കിയാണ് ചാർജുകൾ.

താഴെപ്പറയുന്ന “billing event-ുകളിൽ” ഒന്ന് സംഭവിക്കുമ്പോൾ ഞങ്ങൾ ചാർജ് നൽകുന്നു.

• പരിശീലനം വിജയകരമായി പൂർത്തിയാകുന്നു.

• നിങ്ങൾ പരിശീലനം pause ചെയ്യുന്നു.

• നിങ്ങൾ പരിശീലനം cancel ചെയ്യുന്നു.

• പരിശീലനം പരാജയപ്പെടുന്നു.

ഓരോ ചാർജും അവസാന ചാർജിന് ശേഷമുള്ള incremental പ്രവർത്തനത്തെ ഉൾക്കൊള്ളുന്നു. ഉദാഹരണത്തിന്.

• നിങ്ങൾ ഒരു റൺ pause ചെയ്യുകയാണെങ്കിൽ, ഞങ്ങൾ ഒരു checkpoint സംരക്ഷിക്കുകയും അവസാന ചാർജിന് ശേഷം ഉപയോഗിച്ച compute സമയത്തിനും grader ടോക്കണുകൾക്കും നിങ്ങളോട് ചാർജ് ചെയ്യുകയും ചെയ്യും.

• നിങ്ങൾ resume ചെയ്യുമ്പോൾ, പരിശീലനം checkpoint-ൽ നിന്ന് തുടരുന്നു. അടുത്ത ചാർജ് (പൂർത്തിയാകൽ, മറ്റൊരു pause, cancellation, അല്ലെങ്കിൽ പരാജയം സമയത്ത്) resume ചെയ്തതിന് ശേഷമുള്ള അധിക പ്രവർത്തനത്തിനായി മാത്രം ആയിരിക്കും.

• നിങ്ങൾ ഒരു റൺ cancel ചെയ്യുകയാണെങ്കിൽ, cancellation വരെ ചെയ്ത ജോലിക്ക് ഞങ്ങൾ നിങ്ങളോട് ചാർജ് ചെയ്യും.

• പരിശീലനം പരാജയപ്പെടുകയും അവസാന ചാർജിന് ശേഷമുള്ള പ്രവർത്തനം നഷ്ടപ്പെടുകയും ചെയ്താൽ, നഷ്ടപ്പെട്ട ഭാഗത്തിന് നിങ്ങൾക്ക് ബിൽ ഉണ്ടാകില്ല.

ഈ “captured forward progress” സമീപനം നിങ്ങളുടെ മോഡലിൽ നിലനിൽക്കുന്ന അല്ലെങ്കിൽ നിങ്ങൾ ഉദ്ദേശ്യപൂർവ്വം ഉപേക്ഷിക്കുന്ന പ്രവർത്തനത്തിനാണ് മാത്രം നിങ്ങൾ പണം നൽകുന്നതെന്ന് ഉറപ്പാക്കുന്നു.

ജോബ് പുരോഗതി കാണുന്നു

RFT ജോബുകൾക്ക് usage_metrics എന്നൊരു ഫീൽഡ് ഉണ്ട്; അത് നിലവിലെ ഘട്ടം വരെയുള്ള ജോബിന്റെ മൊത്തം ഉപയോഗം രേഖപ്പെടുത്തുന്നു. പരിശീലനത്തിന് ചെലവഴിച്ച സമയവും ജോബിലെ എല്ലാ മോഡൽ ഗ്രേഡറുകളിലുടനീളം ഉപയോഗിച്ച എല്ലാ ടോക്കണുകളും ഇതിൽ ഉൾപ്പെടുന്നു. ഈ ഫീൽഡ് API (GET /v1/fine_tuning/jobs/{job_id}) വഴി അല്ലെങ്കിൽ ഫൈൻ-ട്യൂണിംഗ് ഡാഷ്‌ബോർഡ് വഴി പരിശോധിക്കാം.

പരിശീലന സമയത്തെ സ്വാധീനിക്കുന്ന ഘടകങ്ങൾ.

ബില്ലിംഗ് സമയം അടിസ്ഥാനമാക്കിയുള്ളതാകുന്നതിനാൽ, നിങ്ങളുടെ കോൺഫിഗറേഷൻ തിരഞ്ഞെടുപ്പുകൾ ചെലവിനെ നേരിട്ട് ബാധിക്കുന്നു. പ്രധാന ഘടകങ്ങൾ ഇവയാണ്.

• പ്രശ്നത്തിന്റെ ബുദ്ധിമുട്ട്: നിങ്ങളുടെ ഡാറ്റാസെറ്റിൽ ബുദ്ധിമുട്ടുള്ള പ്രശ്നങ്ങളാണെങ്കിൽ, മോഡൽ ഓരോ പ്രശ്നത്തെയും കുറിച്ച് കൂടുതൽ സമയം റീസൺ ചെയ്യാൻ സാധ്യതയുണ്ട്, ഇത് ഓരോ സാംപിളും സൃഷ്ടിക്കാൻ വേണ്ട സമയം വർധിപ്പിക്കുന്നു.

• കമ്പ്യൂട്ട് തീവ്രത: compute_multiplier ഹൈപ്പർപാരാമീറ്റർ ഓരോ പരിശീലന ഘട്ടത്തിനും നിങ്ങൾ എത്ര കംപ്യൂട്ടേഷൻ നടത്തുന്നു എന്ന് നിയന്ത്രിക്കുന്നു. ഉയർന്ന മൂല്യങ്ങൾ ഓരോ ഡാറ്റാപോയിന്റിന്മേലും മോഡൽ കൂടുതൽ വിശദമായി റീസൺ ചെയ്യാൻ പ്രോത്സാഹിപ്പിക്കുന്നു, അതിനാൽ ഓരോ ഘട്ടവും മന്ദഗതിയിൽ പ്രവർത്തിക്കും.

• വാലിഡേഷൻ ക്രമീകരണങ്ങൾ:

  • വലിയ വാലിഡേഷൻ സെറ്റ് മൂല്യനിർണയത്തിന് ചെലവാകുന്ന സമയം വർധിപ്പിക്കുന്നു.

  • eval_samples (ഓരോ വാലിഡേഷൻ ഉദാഹരണത്തിനും ഗ്രേഡ് ചെയ്യുന്ന മോഡൽ ഔട്ട്പുട്ടുകളുടെ എണ്ണം) വർധിപ്പിക്കുന്നത് വാലിഡേഷൻ സമയം വർധിപ്പിക്കുന്നു.

  • കൂടുതൽ ഇടയ്ക്കിടെ വാലിഡേഷൻ നടത്തുന്നത് (കുറഞ്ഞ eval_interval) വാലിഡേഷനായി ചെലവഴിക്കുന്ന സമയത്തിന്റെ അനുപാതം വർധിപ്പിക്കുന്നു.

• ഗ്രേഡറിന്റെ പ്രകടനം:

  • വലുതോ കൂടുതൽ കഴിവുള്ളതോ ആയ മോഡൽ ഗ്രേഡറുകൾ ചെറിയവയേക്കാൾ ഗ്രേഡ് മടക്കി നൽകാൻ കൂടുതൽ സമയം എടുക്കും. ഉദാഹരണത്തിന്, ഒരു റീസണിംഗ് മോഡൽ ഉപയോഗിച്ച് ഗ്രേഡ് ചെയ്യുന്നത് non-reasoning മോഡലിനെക്കാൾ 10 മടങ്ങ് കൂടുതൽ സമയം എടുക്കാം.

  • സങ്കീർണ്ണമായ Python ഗ്രേഡിംഗ് ഫങ്ഷനുകൾ ലളിതമായവയേക്കാൾ കൂടുതൽ സമയം എടുക്കും.

ഈ ക്രമീകരണങ്ങൾ ചെലവ്, വേഗം, മോഡൽ ഗുണമേന്മ എന്നിവ തമ്മിൽ ബാലൻസ് ചെയ്യാൻ നിങ്ങളെ സഹായിക്കുന്നു. ഉദാഹരണത്തിന്, ഇടയ്ക്കിടെയുള്ള വാലിഡേഷൻ പ്രശ്നങ്ങൾ നേരത്തെ കണ്ടെത്താൻ സഹായിക്കും, പക്ഷേ ചെലവ് വർധിപ്പിക്കും. കൂടുതൽ പുരോഗമിച്ച മോഡൽ ഉപയോഗിച്ച് ഗ്രേഡിംഗ് ചെയ്യുന്നത് ഗ്രേഡിംഗിന്റെ കൃത്യത വല്ലാതെ മെച്ചപ്പെടുത്താം, പക്ഷേ ഓരോ ഗ്രേഡിംഗ് ഘട്ടവും മന്ദമാക്കുകയും ജോലികൾ കൂടുതൽ ചെലവേറിയതാക്കുകയും ചെയ്യും.

ചെലവ് നിയന്ത്രിക്കൽ.

നിങ്ങളുടെ ചെലവ് നിയന്ത്രിക്കാൻ.

• നിങ്ങളുടെ കോൺഫിഗറേഷൻ സമയത്തെ എങ്ങനെ ബാധിക്കുന്നു എന്ന് മനസ്സിലാക്കാൻ ചെറിയ റൺകളിൽ തുടങ്ങുക.

• യുക്തിസഹമായ എണ്ണം validation example-കളും eval_samples ഉം ഉപയോഗിക്കുക. ആവശ്യമുള്ളതിലധികം ഇടയ്ക്കിടെ വാലിഡേറ്റ് ചെയ്യുന്നത് ഒഴിവാക്കുക.

• നിങ്ങളുടെ ഗുണമേന്മാ ആവശ്യകതകൾ നിറവേറ്റുന്ന ഏറ്റവും ചെറിയ grader മോഡൽ തിരഞ്ഞെടുക്കുക.

• കസ്റ്റം Python grader-കൾ കാര്യക്ഷമമായി സൂക്ഷിക്കുക.

• convergence speed ഉം ചെലവും ബാലൻസ് ചെയ്യാൻ compute_multiplier ക്രമീകരിക്കുക.

• dashboard-ൽ അല്ലെങ്കിൽ API വഴി നിങ്ങളുടെ റൺ നിരീക്ഷിക്കുക. നിങ്ങൾക്ക് ഏത് സമയത്തും pause ചെയ്യുകയോ cancel ചെയ്യുകയോ ചെയ്യാം.

ഉദാഹരണങ്ങൾ.

വിജയകരമായ പരിശീലന റൺ

ഈ സാഹചര്യത്തിൽ, മൊത്തം വാൾ-ക്ലോക്ക് സമയം 6 മണിക്കൂറാണ്, പക്ഷേ 4 മണിക്കൂർ മാത്രമാണ് ബിൽ ചെയ്യാവുന്നത്. ചെലവ് 4 മണിക്കൂർ × $100/മണിക്കൂർ = $400 ആയിരിക്കും.

പരാജയപ്പെട്ട ജോബിന്റെ ഉദാഹരണം

ഈ ഉദാഹരണത്തിൽ, റൺ 2 മണിക്കൂർ പരിശീലിപ്പിക്കുകയും, ഒരു ചെക്ക്പോയിന്റ് എഴുതുകയും, 1 മണിക്കൂർ കൂടി പരിശീലിപ്പിക്കുകയും ചെയ്യുന്നു, പക്ഷേ തുടർന്ന് പരാജയപ്പെടുന്നു. ചെക്ക്പോയിന്റ് വരെയുള്ള 2 മണിക്കൂർ പരിശീലനം മാത്രമാണ് ബിൽ ചെയ്യാവുന്നത്.

മൊത്തത്തിൽ 3 മണിക്കൂർ പരിശീലനത്തിന് ചെലവഴിച്ചെങ്കിലും, ഉപയോഗിക്കാവുന്ന ചെക്ക്പോയിന്റിൽ 2 മണിക്കൂർ മാത്രമാണ് "ക്യാപ്ചർ ചെയ്തിരിക്കുന്നത്", അതിനാണ് ബിൽ ചെയ്യുന്നത്. പരാജയം കാരണം നഷ്ടപ്പെട്ട ഒരു മണിക്കൂർ പരിശീലന ജോലിക്ക് നിങ്ങൾ ഉത്തരവാദിയല്ല. ചെലവ് 2 മണിക്കൂർ × $100/മണിക്കൂർ = $200 ആയിരിക്കും.

പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ.

എപ്പോൾ എന്നിൽ നിന്ന് നിരക്ക് ഈടാക്കും?

നിങ്ങളുടെ റൺ പൂർത്തിയാകുമ്പോൾ, താൽക്കാലികമായി നിർത്തുമ്പോൾ, റദ്ദാക്കുമ്പോൾ, അല്ലെങ്കിൽ പരാജയപ്പെടുമ്പോൾ ഞങ്ങൾ ബിൽ ചെയ്യും. ഓരോ ബില്ലിലും മുൻ ബില്ലിന് ശേഷം ചെയ്ത ജോലിയാണ് ഉൾപ്പെടുന്നത്.

ഒരു റൺ പരാജയപ്പെട്ടാൽ ഞാൻ പണം നൽകണോ?

ഞങ്ങളുടെ പിശക് കാരണം ഒരു റൺ പരാജയപ്പെടുകയും സമീപകാല പരിശീലന ജോലിയിൽ ഏതെങ്കിലും നഷ്ടപ്പെടുകയും ചെയ്താൽ, നഷ്ടപ്പെട്ട ഭാഗത്തിന് നിങ്ങളിൽ നിന്ന് നിരക്ക് ഈടാക്കില്ല. നിങ്ങൾ ഒരു റൺ റദ്ദാക്കിയാൽ, റദ്ദാക്കൽ വരെയുള്ള ജോലിക്ക് നിങ്ങളിൽ നിന്ന് നിരക്ക് ഈടാക്കും.

ഗ്രേഡർ മോഡൽ ടോക്കണുകൾ എങ്ങനെയാണ് ബിൽ ചെയ്യുന്നത്?

നിങ്ങൾ കോൺഫിഗർ ചെയ്യുന്ന ഏതെങ്കിലും മോഡൽ ഗ്രേഡറുകൾ ഉപയോഗിക്കുന്ന ടോക്കണുകൾ ഞങ്ങൾ കണക്കാക്കുന്നു. പരിശീലനം പൂർത്തിയായ ശേഷം, ആ ടോക്കണുകൾ ഞങ്ങളുടെ സാധാരണ ഓരോ-ടോക്കൺ നിരക്കുകളിൽ ഞങ്ങൾ ബിൽ ചെയ്യും.

എനിക്ക് ഒരു റൺ താൽക്കാലികമായി നിർത്തി പുനരാരംഭിക്കാമോ?

അതെ. നിങ്ങൾ താൽക്കാലികമായി നിർത്തുമ്പോൾ, ഞങ്ങൾ ഒരു ചെക്ക്പോയിന്റ് സംരക്ഷിക്കുകയും ഇതുവരെ ചെയ്ത ജോലിക്ക് നിരക്ക് ഈടാക്കുകയും ചെയ്യും. നിങ്ങൾ പുനരാരംഭിക്കുമ്പോൾ, പുനരാരംഭിച്ചതിന് ശേഷം ചെയ്ത അധിക ജോലിക്ക് മാത്രമേ നിങ്ങളിൽ നിന്ന് നിരക്ക് ഈടാക്കൂ.

Reinforcement Fine‑Tuning ബില്ലിംഗിനെക്കുറിച്ച് നിങ്ങൾക്ക് മറ്റ് ചോദ്യങ്ങളുണ്ടെങ്കിൽ, ഞങ്ങളുടെ പിന്തുണാ ടീമിനെ ബന്ധപ്പെടുക.