OpenAI
Aistríodh an leathanach seo le meaisín. Féach ar an t-alt bunaidh i mBéarla.

Treoir bhilleála don API Reinforcement Fine-Tuning

Conas a oibríonn billeáil don API RFT

Nuashonraithe: 27 days ago

Conas a oibríonn an bhilleáil le haghaidh RFT

Ligeann Mionchoigeartú Atreisiúcháin (RFT) duit feidhmíocht shamhlacha réasúnaíochta OpenAI a bharrfheabhsú trí fhoghlaim atreisiúcháin a úsáid. Murab ionann agus ár roghanna mionchoigeartaithe mhaoirsithe nó rogha-bhunaithe, a ghearrtar táille orthu de réir líon na dtéacschomharthaí sa tacar sonraí oiliúna, billeáiltear RFT bunaithe ar an am a chaitheann do rith oiliúna i mbun chroíobair na meaisínfhoghlama.

Mínítear sa treoir seo cad a áirítear mar am oiliúna inbhilleáilte, conas a láimhseálaimid sosanna agus cealuithe, agus conas is féidir le do roghanna cumraíochta dul i bhfeidhm ar an gcostas.

Praghsáil

  • Ríomhaireacht: $100 in aghaidh gach uair an chloig d’am iarbhír a chaitear sa phríomhlúb oiliúna le haghaidh o4-mini-2025-04-16. Ríomhtar táillí ar bhonn pro rata go dtí an soicind agus déantar iad a shlánú go dtí dhá ionad dheachúlacha ar an sonrasc (m.sh., 2.55 uair an chloig).

  • Úsáid grádóra samhla: Má úsáideann tú samhail OpenAI chun aschuir a "ghrádú" le linn na hoiliúna, gearrtar bille ar leith, de réir ár ngnáthrátaí API, as na téacschomharthaí a ídíonn na glaonna grádaithe sin nuair a bhíonn an oiliúint críochnaithe.

Ní ghearraimid táille ach ar obair oiliúna a nuashonraíonn do shamhail i ndáiríre (rud ar a dtugaimid "dul chun cinn éifeachtach taifeadta").

An méid a ghearraimid táille air

Gearraimid táille ar an am a chaitheann d’oibrí oiliúna ag traenáil do shamhla go gníomhach, go sonrach:

  • Samplaí a ghiniúint ó do shamhail le linn an phróisis mhiontiúnaithe (ar a dtugtar “rollouts”)

  • Na haschuir sin a mheas le grádóir amháin nó níos mó atá sainithe agat ar an tasc (tuilleadh eolais faoi ghrádóirí)

  • Nuashonruithe meáchain a ríomh agus a chur i bhfeidhm bunaithe ar na gráid (ais-iomadú).

  • Aon chéimeanna bailíochtaithe (meastóireachta) atá cumraithe agat a rith.

Tá formhór na ngrádóirí “saor in aisce” le rith, rud a chiallaíonn nach ngearraimid táille bhreise as a n-úsáid lasmuigh den mhéid ama a chuireann siad leis an gcroí-lúb oiliúna. Is í an eisceacht ná grádóirí samhla, áit a ndéanaimid na téacschomharthaí a ídíonn na grádóirí sin le linn na ngníomhaíochtaí thuas a chomhaireamh freisin. Bíonn na téacschomharthaí seo le feiceáil mar mhír líne ar leith ar do shonrasc. Déantar téacschomharthaí a ídíonn grádóirí samhla a bhilleáil de réir gnáthrátaí tátail (praghsáil OpenAI).

Cad NACH mbilleálaimid

Ní ghearraimid táille ar am a chaitear:

  • Ag bailíochtú nó ag iniúchadh do thacair sonraí sula dtosaíonn an oiliúint.

  • Ar sheiceálacha sábháilteachta ar do thacar sonraí.

  • Ag fanacht i scuaine ar acmhainní ríomhaireachta.

  • Ag íoslódáil meáchain samhla nó tacair sonraí.

  • Ag ullmhú (ag rindreáil) do thacair sonraí inár bhformáid oiliúna.

  • Ar mheastóireachtaí sábháilteachta iar‑oiliúna ar do shamhail mhionchoigeartaithe.

Má chailltear obair oiliúna mar gheall ar earráid ar ár dtaobhsa (mar shampla, má thuairteálann oibrí agus má chaithfidh sé filleadh ar sheicphointe roimhe seo), ní ghearrtar táille ort as an am ríomhaireachta ná as na téacschomharthaí grádóra a cailleadh. Tuilleadh sonraí faoi seo sa chéad chuid eile.

Dul chun cinn gafa chun tosaigh agus teagmhais bhilleála

Tá an oiliúint comhdhéanta de go leor nuashonruithe beaga ar do shamhail. Rianaímid cé mhéad de na nuashonruithe seo a chríochnaíonn go rathúil. Tá na táillí bunaithe ar an am ríomhaireachta agus ar théacschomharthaí grádóra a bhaineann leis na nuashonruithe rathúla seo.

Eisímid táille nuair a tharlaíonn ceann de na “teagmhais bhilleála” seo a leanas:

  • Críochnaíonn an oiliúint go rathúil.

  • Cuireann tú an oiliúint ar sos.

  • Cealaíonn tú an oiliúint.

  • Teipeann ar an oiliúint.

Clúdaíonn gach táille an obair incriminteach a rinneadh ón táille dheireanach. Mar shampla:

  • Má chuireann tú rith ar sos, sábhálaimid seicphointe agus gearraimid táille ort as an am ríomhaireachta agus na téacschomharthaí grádóra a úsáideadh ón táille dheireanach.

  • Nuair a atosaíonn tú, leanann an oiliúint ar aghaidh ón seicphointe. Ní chlúdóidh an chéad táille eile (ar chríochnú, ar shos eile, ar chealú, nó ar theip) ach an obair bhreise a rinneadh tar éis an atosaithe.

  • Má chealaíonn tú rith, gearraimid táille ort as an obair a rinneadh suas go dtí an cealú.

  • Má theipeann ar an oiliúint agus má chailltear obair ón táille dheireanach i leith, ní bhilleáiltear thú as an gcuid a cailleadh.

Cinntíonn an cur chuige seo maidir le "dul chun cinn gafa chun tosaigh" nach n‑íocann tú ach as obair a choinnítear i do shamhail nó a thréigeann tú d’aon ghnó.

Dul chun cinn an taisc a fheiceáil

Tá réimse darb ainm usage_metrics ag tascanna RFT, ina dtaifeadtar úsáid iomlán an taisc go dtí an chéim reatha. Áirítear leis seo an t-am a caitheadh ar oiliúint agus na téacschomharthaí uile a úsáideadh i ngach grádóir samhla sa tasc. Is féidir an réimse seo a scrúdú tríd an API (GET /v1/fine_tuning/jobs/{job_id}) nó tríd an deais mhionchoigeartaithe.

Tosca a théann i bhfeidhm ar am oiliúna

Ós rud é go mbraitheann an bhilleáil ar am, bíonn tionchar díreach ag do roghanna cumraíochta ar an gcostas. Seo a leanas na príomhthosca:

  • Deacracht na faidhbe: má tá fadhbanna deacra i do thacar sonraí, is dócha go gcaithfidh an tsamhail níos mó ama ag réasúnú faoi gach fadhb, rud a mhéadaíonn an t-am a theastaíonn chun gach sampla a ghiniúint.

  • Déine ríomhaireachta: Rialaíonn an hipearpharaiméadar compute_multiplier an méid ríomhaireachta a dhéantar i ngach céim oiliúna. Spreagann luachanna níos airde an tsamhail chun réasúnú níos mionsonraithe a dhéanamh ar gach pointe sonraí, rud a fhágann go mbíonn gach céim níos moille.

  • Socruithe bailíochtaithe:

  • Feidhmíocht an ghrádóra:

  • Tógann sé níos faide ar ghrádóirí samhla atá níos mó nó níos cumasaí grád a thabhairt ná ar chinn níos lú. Mar shampla, d’fhéadfadh grádú le samhail réasúnaíochta 10 n-oiread an ama a ghlacadh i gcomparáid le grádú le samhail neamhréasúnaíochta.

  • Tógann sé níos faide feidhmeanna casta grádaithe Python a rith ná feidhmeanna simplí.

Ligeann na socruithe seo duit costas, luas agus cáilíocht na samhla a chothromú. Mar shampla, is féidir le bailíochtú minic fadhbanna a aimsiú níos luaithe, ach méadaíonn sé an costas. Is féidir le grádú trí shamhail níos forbartha cruinneas an ghrádaithe a fheabhsú go mór, ach cuirfidh sé moill ar gach céim ghrádaithe agus méadóidh sé costas na dtascanna.

Costais a bhainistiú

Chun do chaiteachas a rialú:

  • Tosaigh le ritheanna níos giorra chun tuiscint a fháil ar an tionchar a bhíonn ag do chumraíocht ar an am.

  • Úsáid líon réasúnta samplaí bailíochtaithe agus eval_samples. Ná déan bailíochtú níos minice ná mar is gá.

  • Roghnaigh an tsamhail ghrádóra is lú a chomhlíonann do riachtanais cháilíochta.

  • Coinnigh grádóirí saincheaptha Python éifeachtúil.

  • Coigeartaigh compute_multiplier chun luas coinbhéirseachta agus costas a chothromú.

  • Déan monatóireacht ar do rith sa deais nó tríd an API. Is féidir leat é a chur ar sos nó a chealú am ar bith.

Samplaí

Rith oiliúna rathúil

Am OiliúnaAm BilleáilteStádasCur síos
00:0000:00Cruthaíonn an t-úsáideoir tasc RFT tríd an API
00:1000:00VALIDATING_FILES10 nóiméad caite ag bailíochtú an tacair sonraí
00:3000:00VALIDATING_FILES20 nóiméad ag rith seiceálacha sábháilteachta ar an tacar sonraí
01:0000:00QUEUED30 nóiméad ag fanacht le hoibrí atá ar fáil
01:3000:00RUNNING30 nóiméad ag socrú na hoiliúna (meáchain á n-íoslódáil, réamhphróiseáil, etc.)
05:3004:00RUNNING4 huaire an chloig caite i mbun oiliúna
06:0004:00RUNNING30 nóiméad ag rith meastóireachtaí sábháilteachta ar an tsamhail a eascraíonn as
06:0004:00SUCCEEDEDCríochnaíonn an oiliúint

Sa chás seo, is 6 huaire an chloig an t-am clogbhalla iomlán, ach níl ach 4 huaire an chloig inbhilleáilte. Bheadh an costas 4 huaire an chloig × $100/uair = $400.

Sampla de thasc teipthe

Sa sampla seo, traenálann an rith ar feadh 2 uair an chloig, scríobhann sé seicphointe, traenálann sé ar feadh 1 uair an chloig eile, ach teipeann air ansin. Níl ach an 2 uair an chloig oiliúna suas go dtí an seicphointe inbhilleáilte.

Am OiliúnaAm BilleáilteStádasCur síos
00:0000:00Cruthaíonn an t-úsáideoir tasc RFT tríd an API
00:1000:00VALIDATING_FILES10 nóiméad caite ag bailíochtú an tacair sonraí
00:3000:00VALIDATING_FILES20 nóiméad ag rith seiceálacha sábháilteachta ar an tacar sonraí
01:0000:00QUEUED30 nóiméad ag fanacht le hoibrí atá ar fáil
01:3000:00RUNNING30 nóiméad ag socrú na hoiliúna (meáchain á n-íoslódáil, réamhphróiseáil, etc.)
03:3002:00RUNNING2 uair an chloig caite i mbun oiliúna
03:3002:00RUNNINGCruthaítear seicphointe ag céim 5
04:3002:00RUNNINGTeipeann ar an oiliúint mar gheall ar earráid inmheánach ag céim 8 (tar éis 1 uair an chloig eile)
04:3002:00RUNNING30 nóiméad ag meastóireacht agus ag bailíochtú an tseicphointe
04:3002:00SUCCEEDEDCríochnaíonn an tasc (leis an seicphointe is déanaí)

Cé gur caitheadh 3 huaire an chloig i mbun oiliúna san iomlán, níl ach 2 uair an chloig “gafa” i seicphointe inúsáidte agus billeáiltear iad. Ní ortsa atá an fhreagracht as an uair an chloig d’obair oiliúna a cailleadh mar gheall ar an teip. Bheadh an costas 2 uair an chloig × $100/uair = $200.

Ceisteanna coitianta

Cathain a ghearrtar táille orm?

Eisímid bille nuair a chríochnaíonn do rith, nuair a chuirtear ar sos é, nuair a chealaítear é nó nuair a theipeann air. Clúdaíonn gach bille an obair a rinneadh ón mbille roimhe sin.

An ngearrtar táille orm má theipeann ar rith?

Má theipeann ar rith mar gheall ar earráid againne agus má chailltear aon obair oiliúna le déanaí, ní ghearrfar táille ort as an gcuid a cailleadh. Má chuireann tú rith ar ceal, gearrfar táille ort as an obair suas go dtí an cealú.

Conas a bhilleáiltear téacschomharthaí grádóirí samhla?

Comhairimid na téacschomharthaí a úsáideann aon ghrádóirí samhla a chumraíonn tú. Tar éis don oiliúint críochnú, billeálaimid na téacschomharthaí sin de réir ár ngnáthrátaí in aghaidh an téacschomhartha.

An féidir liom rith a chur ar sos agus é a atosú?

Sea. Nuair a chuireann tú ar sos é, sábhálaimid seicphointe agus gearraimid táille as an obair atá déanta go dtí sin. Nuair a atosóidh tú é, ní ghearrfar táille ort ach as obair bhreise a dhéantar tar éis atosú.

Má tá ceisteanna eile agat faoi bhilleáil Mhiontiúnadh Atreisiúcháin, déan teagmháil lenár bhfoireann tacaíochta.

Ar chuidigh an t-alt seo libh?