OpenAI
Boggan si mashiin ah ayaa loo turjumay. Eeg maqaalka asalka ah ee Ingiriisiga ahaa.

Hagaha biilka ee API-ga Reinforcement Fine Tuning

Sida biilashu ugu shaqeeyaan API-ga RFT

La cusboonaysiiyay: 20 days ago

Sida biil-bixintu ugu shaqayso RFT (Turxaan Bixinta Xoojinta)

RFT (Turxaan Bixinta Xoojinta) waxay kuu oggolaanaysaa inaad hagaajiso waxqabadka noocyada caqliyeynta ee OpenAI adigoo adeegsanaya waxbarashadda xoojinta ah. Si ka duwan adeegyada aan bixinno ee turxaan-bixinta la kormeero ama ku salaysan doorbidka, kuwaas oo biilkooda lagu xisaabiyo tirada token-yada ku jira xogta tababarka, RFT (Turxaan Bixinta Xoojinta) biilkeeda waxaa lagu saleeyaa waqtiga uu socodka tababarkaagu ku qaato qabashada shaqada asaasiga ah ee barashada mashiinka.

Hagahan waxa uu sharxayaa waxa lagu tiriyo waqti tababar oo la dallaci karo, sida aan u maamulno hakinta iyo joojinta, iyo sida xulashooyinka qaabeyntaadu u saameyn karaan kharashka.

Qiimaynta

  • Xisaabinta: $100 saacaddii wakhtiga dhabta ah ee lagu qaato wareegga aasaasiga ah ee tababarka o4-mini-2025-04-16. Kharashka waxa loo xisaabiyaa ilbidhiqsi kasta, biilkana waxaa loogu soo koobaa laba meelood oo jajab-tobanle ah (tusaale, 2.55 saacadood).

  • Isticmaalka qiimeeyaha nooca: Haddii aad nooc OpenAI ah u isticmaasho inuu "qiimeeyo" natiijooyinka inta tababarku socdo, token-nada ay isticmaalaan wicitaannadaas qiimayntu si gooni ah ayaa loogu dallacaa qiimaha caadiga ah ee API-ga marka tababarku dhammaado.

Waxaan lacag ku dallacnaa oo keliya shaqada tababarka ee dhab ahaan cusboonaysiisa noocaaga (taas oo aan ugu yeedhno "horumar la xaqiijiyey").

Waxa aan lacagta ka qaadno

Waxaan lacag ka qaadnaa waqtiga uu shaqaalaha tababarkaagu si firfircoon ugu tababarayo noocaaga, gaar ahaan:

  • Abuurista muunado ka imanaya noocaaga inta lagu jiro habka turxaan bixinta (oo loo yaqaan “rollouts”)

  • Qiimaynta wax-soo-saarradaas iyadoo la adeegsanayo hal ama ka badan qiimeeyayaal aad ku qeexday shaqada (wax badan ka baro qiimeeyayaasha)

  • Xisaabinta iyo dabaqidda cusboonaysiinta miisaannada iyadoo lagu salaynayo darajooyinka (backpropagation).

  • Socodsiinta tallaabooyin kasta oo xaqiijin (qiimayn) ah oo aad dejisay.

Qiimeeyayaasha badankood waa “bilaash” in la socodsiiyo, taas oo ka dhigan in aanan kharash dheeraad ah ka qaadin isticmaalkooda marka laga reebo waqtiga ay ku kordhiyaan wareegga tababarka aasaasiga ah. Ka-reebitaanku wuxuu khuseeyaa qiimeeyayaasha nooca, halkaas oo aan sidoo kale tirinno tokennada ay qiimeeyayaashaas isticmaalaan inta hawlaha kore socdaan. Tokennadan waxay biilkaaga uga muuqdaan qodob kharash oo gaar ah. Tokennada ay isticmaalaan qiimeeyayaasha nooca waxaa lagu dallacaa heerarka caadiga ah ee inference (qiimaha OpenAI).

Waxa AANAN u dallacin

Wax lacag ah kama qaadno waqtiga lagu bixiyo:

  • Ansixinta ama kormeerka xogtaada ka hor inta aanu tababarku bilaaban.

  • Hubinnada badbaadada ee xogtaada.

  • Sugitaanka safka khayraadka xisaabinta.

  • Soo dejinta weights-ka nooca ama datasets-ka.

  • U diyaarinta (rendering) xogtaada qaabkayaga tababarka.

  • Qiimeynaha badbaadada ee ka dambeeya tababarka ee noocaaga fine-tuned-ka ah.

Haddii shaqo tababar lunto khalad naga yimid awgii (tusaale ahaan, haddii worker uu burburo oo uu ku noqdo checkpoint hore), laguguma dallacayo waqtiga xisaabinta ee lumay ama token-yada grader-ka. Faahfaahin dheeraad ah oo ku saabsan tani waxay ku jirtaa qaybta xigta.

Captured forward progress iyo dhacdooyinka biil-bixinta

Tababarku wuxuu ka kooban yahay cusboonaysiinno yaryar oo badan oo lagu sameeyo noocaaga. Waxaan la soconnaa inta ka mid ah cusboonaysiinnadan si guul leh u dhammaata. Dallacyadu waxay ku salaysan yihiin waqtiga xisaabinta iyo token-yada grader-ka ee la xiriira cusboonaysiinnadan guulaystay.

Waxaan soo saarno dallac marka mid ka mid ah “dhacdooyinka biil-bixinta” ee soo socda ay dhacdo:

  • Tababarku si guul leh ayuu u dhammaadaa.

  • Adigu waad hakisaa tababarka.

  • Adigu waad joojisaa tababarka.

  • Tababarku wuu fashilmaa.

Dallac kasta wuxuu daboolaa shaqada kordhaysa ee la qabtay tan iyo dallacii u dambeeyay. Tusaale ahaan:

  • Haddii aad hakiso socod, waxaan kaydinnaa checkpoint waxaana kugu dallacnaa waqtiga xisaabinta iyo token-yada grader-ka ee la isticmaalay tan iyo dallacii u dambeeyay.

  • Marka aad dib u bilowdo, tababarku wuxuu ka sii socdaa checkpoint-ka. Dallaca xigta (marka la dhammeeyo, hakin kale, joojin, ama fashil) waxay dabooli doontaa oo keliya shaqada dheeraadka ah ee la qabtay dib u bilaabista ka dib.

  • Haddii aad joojiso socod, waxaan kugu dallacnaa shaqada la qabtay ilaa joojinta.

  • Haddii tababarku fashilmo oo shaqadii tan iyo dallacii u dambeeyay ay lunto, laguguma dallacayo qaybta luntay.

Habkan "captured forward progress" wuxuu hubinayaa inaad bixiso oo keliya shaqada ku sii hadha noocaaga ama aad si ula kac ah uga tanaasusho.

Daawashada horumarka hawsha

Hawlaha RFT (Turxaan Bixinta Xoojinta) waxay leeyihiin goob la yidhaahdo usage_metrics, taas oo diiwaangelisa wadarta isticmaalka hawsha ilaa tallaabada hadda la joogo. Tan waxaa ku jira wakhtiga tababarka lagu qaatay iyo dhammaan token-nada ay isticmaaleen qiimeeyayaasha nooca ee hawsha. Goobtan waxa lagu hubin karaa API-ga (GET /v1/fine_tuning/jobs/{job_id}) ama guddida turxaan-bixinta.

Arrimaha saameeya muddada tababarka

Maadaama biilku ku salaysan yahay wakhtiga, habaynta aad doorato waxay si toos ah u saamaysaa kharashka. Arrimaha ugu muhiimsan waxaa ka mid ah:

  • Adkaanta mushkiladda: haddii xog-ururintaadu ka kooban tahay mushkilado adag, noocu waxay u badan tahay inuu wakhti badan ku bixiyo caqliyeynta mushkilad kasta, taas oo kordhinaysa wakhtiga lagu soo saarayo muunad kasta.

  • Culayska xisaabinta: Halbeegga sare ee compute_multiplier ayaa xukuma inta xisaabin ee aad samaynayso tallaabo kasta oo tababar. Qiimayaasha sare waxay nooca ku dhiirrigeliyaan inuu si faahfaahsan uga caqliyeeyo dhibic kasta oo xog ah, taas oo tallaabo kasta gaabinaysa.

  • Habaynta xaqiijinta:

  • Waxqabadka qiimeeyaha:

  • Qiimeeyayaasha nooca ee waaweyn ama kartida badan waxay ku qaataan soo-celinta qiime wakhti ka dheer kuwa yaryar. Tusaale ahaan, ku qiimaynta nooca caqliyeynta waxay qaadan kartaa wakhti 10 jeer ka dheer ku qiimaynta nooc aan caqliyeyn lahayn.

  • Hawlaha qiimaynta Python ee adag waxay ku qaataan socodsiinta wakhti ka dheer kuwa fudud.

Habayntani waxay kuu oggolaanaysaa inaad isu dheellitirto kharashka, xawaaraha iyo tayada nooca. Tusaale ahaan, xaqiijinta joogtada ahi waxay dhibaatooyinka hore u ogaan kartaa, laakiin waxay kordhisaa kharashka. Ku qiimaynta nooc horumarsan waxay si weyn u wanaajin kartaa saxnaanta qiimaynta, laakiin waxay gaabinaysaa tallaabo kasta oo qiimayn ah, hawlahana way qaaliyeynaysaa.

Maareynta kharashka

Si aad u xakamayso kharashkaaga:

  • Ku bilow socodsiinno gaagaaban si aad u fahanto sida habayntaadu wakhtiga u saamayso.

  • Isticmaal tiro macquul ah oo tusaalooyin xaqiijin ah iyo eval_samples. Ha samayn xaqiijin ka badan inta aad u baahan tahay.

  • Dooro nooca qiimeeyaha ugu yar ee buuxinaya shuruudahaaga tayada.

  • Hubi in qiimeeyayaasha Python ee gaarka ahi ay hufan yihiin.

  • Hagaaji compute_multiplier si aad isu dheellitirto xawaaraha isku-imaanshaha iyo kharashka.

  • Kala soco socodsiintaada guddida ama API-ga. Waad hakin kartaa ama joojin kartaa wakhti kasta.

Tusaalooyin

Hawlgal tababar oo guulaystay

Waqtiga TababarkaWaqtiga La BixiyayXaaladSharaxaad
00:0000:00Isticmaaluhu wuxuu shaqo RFT ku abuuraa API
00:1000:00VALIDATING_FILES10 daqiiqo ayaa lagu qaatay xaqiijinta xog-ururinta
00:3000:00VALIDATING_FILES20 daqiiqo oo lagu waday hubinnada badbaadada xog-ururinta
01:0000:00QUEUED30 daqiiqo oo la sugayay shaqaale diyaar ah
01:3000:00RUNNING30 daqiiqo oo lagu dejinayay tababarka (soo dejinta miisaannada, sii-habaynta, iwm.)
05:3004:00RUNNING4 saacadood ayaa lagu qaatay tababarka
06:0004:00RUNNING30 daqiiqo oo lagu waday qiimaynta badbaadada nooca ka soo baxay
06:0004:00SUCCEEDEDTababarku wuu dhammaadaa

Xaaladdan, wadarta waqtiga dhabta ah waa 6 saacadood, laakiin 4 saacadood oo keliya ayaa lacag laga qaadi karaa. Kharashku wuxuu noqon lahaa 4 saacadood × $100/saacad = $400.

Tusaale shaqo fashilantay

Tusaalahan, hawlgalku wuxuu tababaraa 2 saacadood, wuxuu qoraa checkpoint, wuxuu tababaraa 1 saac oo kale, balse markaas wuu fashilmaa. Kaliya 2-da saacadood ee tababarka ilaa checkpoint-ka ayaa lacag laga qaadi karaa.

Waqtiga TababarkaWaqtiga La BixiyayXaaladSharaxaad
00:0000:00Isticmaaluhu wuxuu shaqo RFT ku abuuraa API
00:1000:00VALIDATING_FILES10 daqiiqo ayaa lagu qaatay xaqiijinta xog-ururinta
00:3000:00VALIDATING_FILES20 daqiiqo oo lagu waday hubinnada badbaadada xog-ururinta
01:0000:00QUEUED30 daqiiqo oo la sugayay shaqaale diyaar ah
01:3000:00RUNNING30 daqiiqo oo lagu dejinayay tababarka (soo dejinta miisaannada, sii-habaynta, iwm.)
03:3002:00RUNNING2 saacadood ayaa lagu qaatay tababarka
03:3002:00RUNNINGCheckpoint ayaa lagu abuuray tallaabada 5
04:3002:00RUNNINGTababarku wuu fashilmaa cilad gudaha ah awgeed tallaabada 8 (ka dib 1 saac oo kale)
04:3002:00RUNNING30 daqiiqo oo lagu qiimaynayay laguna xaqiijinayay checkpoint-ka
04:3002:00SUCCEEDEDShaqadu way dhammaataa (iyadoo leh checkpoint-kii ugu dambeeyay)

In kasta oo wadarta 3 saacadood lagu qaatay tababarka, kaliya 2 saacadood ayaa checkpoint la adeegsan karo ku “xaraysan” oo lacag laga qaadaa. Saacadda shaqada tababarka ee ku luntay fashilka adiga mas'uul kama tihid. Kharashku wuxuu noqon lahaa 2 saacadood × $100/saacad = $200.

Su’aalaha inta badan la isweydiiyo

Goorma ayaa lacag la iga qaadayaa?

Waxaan lacagta xisaabinnaa marka socodsiintaadu dhammaato, la hakiyo, la joojiyo ama ay fashilanto. Biil kastaa wuxuu daboolayaa shaqadii la qabtay tan iyo biilkii hore.

Ma bixiyaa lacag haddii hawlgal fashilmo?

Haddii hawlgal ku fashilmo cilad naga timid oo shaqo tababar oo dhowaan la qabtay lunto, laguguma dallacayo qaybta luntay. Haddii aad joojiso hawlgal, waxaa lagaa qaadayaa lacagta shaqada ilaa waqtiga joojinta.

Sidee ayaa loo dallacaa tokennada nooca qiimeeyaha?

Waxaan tirinnaa tokennada ay isticmaalaan qiimeeyayaasha nooca ee aad dejiso. Marka tababarku dhammaado, waxaan tokennadaas ku dallacnaa heerarkeenna caadiga ah ee token kasta.

Ma hakin karaa oo dib ma u bilaabi karaa hawlgal?

Haa. Markaad hakiso, waxaan kaydinnaa checkpoint waxaana lacag ka qaadnaa shaqada ilaa hadda la qabtay. Markaad dib u bilowdo, waxaa lagaa qaadi doonaa oo keliya lacagta shaqada dheeraadka ah ee la qabtay ka dib dib-u-bilaabidda.

Haddii aad qabto su'aalo kale oo ku saabsan biilasha Reinforcement Fine‑Tuning, la xiriir kooxdayada taageerada.

Maqaalkani faa'iido ma kuu lahaa?