RFT માટે બિલિંગ કેવી રીતે થાય છે

રીઇન્ફોર્સમેન્ટ ફાઇન-ટ્યુનિંગ (RFT) તમને રીઇન્ફોર્સમેન્ટ લર્નિંગનો ઉપયોગ કરીને OpenAIનાં রিজনিং মডেলનું પ્રદર્શન ઑપ્ટિમાઇઝ કરવાની સુવિધા આપે છે. અમારી નિરીક્ષિત અથવા પસંદગી-આધારિત ફાઇન-ટ્યુનિંગ સેવાઓથી અલગ, જેમાં બિલિંગ તાલીમ ડેટાસેટમાં રહેલા ટોકનની સંખ્યાના આધારે થાય છે, RFTનું બિલિંગ તમારા તાલીમ રન દ્વારા મુખ્ય મશીન લર્નિંગ કાર્ય કરવામાં લાગેલા સમયના આધારે થાય છે.

કિંમત

• Compute: o4-mini-2025-04-16 માટે core training loopમાં વિતેલા wall-clock સમયના પ્રતિ કલાક $100. ચાર્જ સેકન્ડ મુજબ prorate થાય છે અને invoiceમાં દશાંશ પછી બે અંકો સુધી round થાય છે (જેમ કે, 2.55 કલાક).

• Model grader usage: જો તમે તાલીમ દરમિયાન outputsને "grade" કરવા OpenAI મોડલનો ઉપયોગ કરો છો, તો તે grading callsમાં વપરાયેલા ટોકન તાલીમ પૂર્ણ થયા પછી અમારી standard API rates મુજબ અલગથી બિલ થશે.

અમે ફક્ત એ તાલીમ કાર્ય માટે ચાર્જ કરીએ છીએ જે ખરેખર તમારા મોડલને update કરે છે, જેને અમે "captured forward progress" કહીએ છીએ.

અમે શેના માટે બિલ કરીએ છીએ

તમારો ટ્રેનિંગ વર્કર તમારું મોડલ સક્રિય રીતે ટ્રેન કરવા જે સમય ખર્ચે છે તેનું અમે બિલ કરીએ છીએ, ખાસ કરીને:

• ફાઇન-ટ્યુનિંગ પ્રક્રિયા દરમિયાન તમારા મોડલમાંથી નમૂનાઓ જનરેટ કરવા (“રોલઆઉટ્સ” તરીકે ઓળખાય છે)

• તમે જોબ પર નિર્ધારિત કરેલા એક કે વધુ ગ્રેડર વડે તે આઉટપુટનું મૂલ્યાંકન કરવું (ગ્રેડર વિશે વધુ જાણો)

• ગ્રેડના આધારે વેઇટ અપડેટની ગણતરી કરવી અને લાગુ કરવી (બૅકપ્રોપેગેશન).

• તમે કૉન્ફિગર કરેલા કોઈપણ માન્યતા (મૂલ્યાંકન) પગલાં ચલાવવા.

મોટાભાગના ગ્રેડર ચલાવવા માટે “મફત” છે, એટલે કે કોર ટ્રેનિંગ લૂપમાં તેઓ ઉમેરે છે તે સમય સિવાય તેમના ઉપયોગ માટે અમે વધારું શુલ્ક લેતા નથી. આનો અપવાદ મોડલ ગ્રેડર માટે છે, જ્યાં ઉપરની પ્રવૃત્તિઓ દરમિયાન તે ગ્રેડર વાપરે છે તે ટોકન પણ અમે ગણીએ છીએ. આ ટોકન તમારા ઇનવૉઇસમાં અલગ લાઇન આઇટમ તરીકે દેખાય છે. મોડલ ગ્રેડર દ્વારા વપરાયેલા ટોકન સામાન્ય ઇન્ફરન્સ દરે બિલ કરવામાં આવે છે (OpenAI કિંમતો).

અમે શા માટે બિલ કરતા નથી

નીચેના સમયમાં અમે ચાર્જ કરતા નથી.

• તાલીમ શરૂ થાય તે પહેલાં તમારા datasetને validate કરવા અથવા તપાસવા માટે.

• તમારા dataset પર safety checks માટે.

• compute resources માટે queueમાં રાહ જોવામાં.

• model weights અથવા datasets download કરવામાં.

• તમારા datasetને અમારા training formatમાં તૈયાર કરવા (render કરવા) માટે.

• તમારા fine-tuned મોડલના post‑training safety evaluations માટે.

જો અમારી તરફની ભૂલને કારણે તાલીમ કાર્ય ગુમાય, જેમ કે worker crash થાય અને અગાઉના checkpoint પર rollback કરવું પડે, તો ગુમાયેલ compute time અથવા grader tokens માટે તમારી પાસેથી ચાર્જ લેવામાં આવતો નથી. તેની વધુ વિગતો આગળના વિભાગમાં છે.

Captured forward progress અને billing events

તાલીમમાં તમારા મોડલમાં થતા ઘણા નાના updatesનો સમાવેશ થાય છે. અમે આમાંથી કેટલા updates સફળતાપૂર્વક પૂર્ણ થાય છે તે ટ્રેક કરીએ છીએ. ચાર્જ આ સફળ updates સાથે જોડાયેલા compute time અને grader tokens પર આધારિત હોય છે.

નીચેના "billing events"માંથી એક બન્યા સમયે અમે ચાર્જ જારી કરીએ છીએ.

• તાલીમ સફળતાપૂર્વક પૂર્ણ થાય છે.

• તમે તાલીમ pause કરો છો.

• તમે તાલીમ cancel કરો છો.

• તાલીમ fail થાય છે.

દરેક ચાર્જ છેલ્લે થયેલા ચાર્જ પછી થયેલા વધારાના કાર્યને આવરી લે છે. ઉદાહરણ તરીકે.

• જો તમે run pause કરો, તો અમે checkpoint સાચવીએ છીએ અને છેલ્લેના ચાર્જ પછી વપરાયેલા compute time અને grader tokens માટે ચાર્જ કરીએ છીએ.

• તમે resume કરો ત્યારે તાલીમ checkpoint પરથી આગળ વધે છે. આગળનો ચાર્જ (completion, બીજા pause, cancellation અથવા failure સમયે) ફક્ત resume પછી થયેલા વધારાના કાર્યને જ આવરી લેશે.

• જો તમે run cancel કરો, તો cancellation સુધી થયેલા કાર્ય માટે અમે ચાર્જ કરીએ છીએ.

• જો તાલીમ fail થાય અને છેલ્લેના ચાર્જ પછીનું કાર્ય ગુમાય, તો ગુમાયેલા ભાગ માટે બિલ કરવામાં આવતું નથી.

આ "captured forward progress" અભિગમ ખાતરી કરે છે કે તમે ફક્ત એ જ કાર્ય માટે ચૂકવો છો જે તમારા મોડલમાં જળવાઈ રહે છે અથવા જેને તમે જાણબૂઝીને છોડો છો.

જોબની પ્રગતિ જોવી

RFT જોબમાં usage_metrics નામનું ફીલ્ડ હોય છે, જે વર્તમાન પગલા સુધી જોબના કુલ ઉપયોગને નોંધે છે. આમાં ટ્રેનિંગમાં લાગેલો સમય અને જોબ પરના બધા મોડલ ગ્રેડરમાં વપરાયેલા તમામ ટોકન સામેલ છે. આ ફીલ્ડ API (GET /v1/fine_tuning/jobs/{job_id}) મારફતે અથવા ફાઇન-ટ્યુનિંગ ડેશબોર્ડ મારફતે તપાસી શકાય છે.

તાલીમ સમયને અસર કરનારા પરિબળો

બિલિંગ સમય આધારિત હોવાથી, તમારી configuration પસંદગીઓ સીધો ખર્ચ અસર કરે છે. મુખ્ય પરિબળોમાં આ સામેલ છે.

• સમસ્યાની મુશ્કેલી: જો તમારા datasetમાં મુશ્કેલ સમસ્યાઓ હોય, તો મોડલ દરેક સમસ્યા પર વધુ રિઝનિંગ સમય ખર્ચે તેવી શક્યતા છે, જે દરેક sample બનાવવા માટેનો સમય વધારે છે.

• કમ્પ્યુટ તીવ્રતા: compute_multiplier hyperparameter દરેક training step દીઠ તમે કેટલી computation કરો છો તે નિયંત્રિત કરે છે. ઊંચા મૂલ્યો મોડલને દરેક datapoint પર વધુ વિગતે રિઝનિંગ કરવા પ્રોત્સાહિત કરે છે, જેના કારણે દરેક step વધુ ધીમું ચાલે છે.

• Validation સેટિંગ્સ:

  • મોટો validation set મૂલ્યાંકનમાં લાગતો સમય વધારે છે.

  • eval_samples વધારવાથી (દરેક validation example માટે grade કરાતા model outputsની સંખ્યા) validation સમય વધે છે.

  • Validation વધુ વાર ચલાવવાથી (ઓછું eval_interval) validationમાં જતો સમયનો હિસ્સો વધે છે.

• Grader પ્રદર્શન:

  • મોટા અથવા વધુ સક્ષમ model graders નાના graders કરતાં grade આપવા વધુ સમય લે છે. ઉદાહરણ તરીકે, રિઝનિંગ મોડલથી grading કરવા માટે non-reasoning model કરતાં 10 ગણો વધુ સમય લાગી શકે છે.

  • જટિલ Python grading functions સરળ functions કરતાં વધુ સમય લે છે.

આ સેટિંગ્સ તમને ખર્ચ, ગતિ અને મોડલ ગુણવત્તા વચ્ચે સમતોલન સાધવાની તક આપે છે. ઉદાહરણ તરીકે, વારંવાર validation કરવાથી સમસ્યાઓ વહેલી ઝડપાઈ શકે છે, પરંતુ ખર્ચ વધે છે. વધુ અદ્યતન model સાથે grading કરવાથી grading ચોકસાઈમાં ભારે સુધારો થઈ શકે છે, પરંતુ દરેક grading step ધીમું થશે અને jobs વધુ મોંઘી બનશે.

ખર્ચનું સંચાલન

તમારો ખર્ચ નિયંત્રિત કરવા માટે.

• તમારી configuration સમયને કેવી રીતે અસર કરે છે તે સમજવા માટે ટૂંકી runsથી શરૂઆત કરો.

• યોગ્ય સંખ્યામાં validation examples અને eval_samplesનો ઉપયોગ કરો. જરૂર કરતાં વધુ વાર validation કરવાનું ટાળો.

• તમારી ગુણવત્તાની જરૂરિયાતો પૂર્ણ કરે એવું સૌથી નાનું grader મોડલ પસંદ કરો.

• custom Python gradersને કાર્યક્ષમ રાખો.

• convergence speed અને ખર્ચ વચ્ચે સંતુલન માટે compute_multiplier સમાયોજિત કરો.

• dashboardમાં અથવા API દ્વારા તમારી run પર નજર રાખો. તમે કોઈપણ સમયે pause અથવા cancel કરી શકો છો.

ઉદાહરણો

સફળ ટ્રેનિંગ રન

આ કિસ્સામાં, કુલ વોલ-ક્લોક સમય 6 કલાક છે, પરંતુ ફક્ત 4 કલાક બિલપાત્ર છે. ખર્ચ 4 કલાક × $100/કલાક = $400 થશે.

નિષ્ફળ જોબનું ઉદાહરણ

આ ઉદાહરણમાં, રન 2 કલાક ટ્રેન થાય છે, ચેકપોઇન્ટ લખે છે, વધુ 1 કલાક ટ્રેન થાય છે, પરંતુ પછી નિષ્ફળ જાય છે. ચેકપોઇન્ટ સુધીના ફક્ત 2 કલાકનું ટ્રેનિંગ બિલપાત્ર છે.

કુલ 3 કલાક ટ્રેનિંગમાં લાગ્યા હોવા છતાં, ફક્ત 2 કલાક ઉપયોગી ચેકપોઇન્ટમાં “કૅપ્ચર” થયા છે અને તેનું બિલ થાય છે. નિષ્ફળતાને કારણે ગુમાવાયેલ ટ્રેનિંગ કામનો 1 કલાક તમારી જવાબદારી નથી. ખર્ચ 2 કલાક × $100/કલાક = $200 થશે.

વારંવાર પૂછાતા પ્રશ્નો

મારી પાસેથી શુલ્ક ક્યારે લેવાય છે?

તમારો રન પૂર્ણ થાય, વિરામમાં મૂકાય, રદ થાય અથવા નિષ્ફળ જાય ત્યારે અમે બિલ કરીએ છીએ. દરેક બિલ અગાઉના બિલ પછી થયેલા કામને આવરી લે છે.

જો રન નિષ્ફળ જાય તો શું મારે ચુકવવું પડે?

જો અમારી ભૂલને કારણે રન નિષ્ફળ જાય અને તાજેતરનું કોઈ ટ્રેનિંગ કામ ગુમાય, તો ગુમાયેલા ભાગ માટે તમારી પાસેથી શુલ્ક લેવામાં આવતું નથી. જો તમે રન રદ કરો છો, તો રદ કરવા સુધી થયેલા કામ માટે તમારી પાસેથી શુલ્ક લેવાય છે.

ગ્રેડર મોડલ ટોકનનું બિલ કેવી રીતે થાય છે?

તમે કૉન્ફિગર કરેલા કોઈપણ મોડલ ગ્રેડર દ્વારા વપરાયેલા ટોકન અમે ગણીએ છીએ. ટ્રેનિંગ પૂર્ણ થયા પછી, અમે તે ટોકનનું બિલ અમારા પ્રમાણભૂત પ્રતિ-ટોકન દરે કરીએ છીએ.

શું હું રનને વિરામમાં મૂકી ફરી શરૂ કરી શકું?

હા. તમે વિરામમાં મૂકો ત્યારે, અમે ચેકપોઇન્ટ સાચવીએ છીએ અને અત્યાર સુધી થયેલા કામ માટે શુલ્ક લઈએ છીએ. તમે ફરી શરૂ કરો ત્યારે, ફરી શરૂ કર્યા પછી થયેલા વધારાના કામ માટે જ તમારી પાસેથી શુલ્ક લેવાશે.

જો રીઇન્ફોર્સમેન્ટ ફાઇન-ટ્યુનિંગ બિલિંગ વિશે તમને અન્ય પ્રશ્નો હોય, તો અમારી સહાય ટીમનો સંપર્ક કરો.