Kif jaħdem il-ħlas għal RFT

Reinforcement Fine‑Tuning (RFT) jippermettilek tottimizza l-prestazzjoni tal-mudelli tar-raġunament ta’ OpenAI bl-użu tal-apprendiment ta' tisħiħ. B’differenza mill-offerti tagħna ta’ rfinar sorveljat jew ibbażat fuq il-preferenzi, li jiġu ċċarġjati skont in-numru ta’ tokens fis-sett tad-data tat-taħriġ, RFT jiġi ċċarġjat abbażi tal-ħin li l-eżekuzzjoni tat-taħriġ tiegħek tqatta’ twettaq ix-xogħol ewlieni tat-tagħlim awtomatiku.

Prezzijiet

• Komputazzjoni: $100 għal kull siegħa ta' ħin reali mgħoddija fiċ-ċiklu ewlieni tat-taħriġ għal o4-mini-2025-04-16. It-tariffi jiġu kkalkulati proporzjonalment sas-sekonda u jitqarrbu għal żewġ ċifri deċimali fuq il-fattura (eż. 2.55 sigħat).

• Użu tal-mudell evalwatur: Jekk tuża mudell ta' OpenAI biex "jevalwa" r-riżultati waqt it-taħriġ, it-tokens ikkunsmati minn dawk is-sejħiet tal-evalwazzjoni jiġu ċċarġjati separatament bir-rati standard tal-API tagħna wara li jitlesta t-taħriġ.

Niċċarġjaw biss għax-xogħol ta' taħriġ li fil-fatt jaġġorna l-mudell tiegħek (dak li nsejħulu "progress effettiv irreġistrat").

Għal xiex niffatturaw

Niffatturaw għall-ħin li l-worker tat-taħriġ tiegħek iqatta’ jħarreġ attivament il-mudell tiegħek, speċifikament:

• Jiġġenera kampjuni mill-mudell tiegħek matul il-proċess ta’ fine-tuning (magħruf bħala “rollouts”)

• Jevalwa dawk ir-riżultati b’grader wieħed jew aktar li tkun iddefinijt fuq ix-xogħol (sir af aktar dwar il-graders)

• Jikkalkula u japplika aġġornamenti tal-piżijiet ibbażati fuq il-gradi (backpropagation).

• Iwettaq kwalunkwe pass ta’ validazzjoni (evalwazzjoni) li kkonfigurajt.

Il-biċċa l-kbira tal-graders jistgħu jitħaddmu “bla ħlas”, jiġifieri ma niċċarġjawx aktar għall-użu tagħhom lil hinn mill-ammont ta’ ħin li jikkontribwixxu għaċ-ċiklu ewlieni tat-taħriġ. L-eċċezzjoni għal dan hija għall-graders tal-mudell, fejn ngħoddu wkoll it-tokens li dawk il-graders jikkunsmaw matul l-attivitajiet ta’ hawn fuq. Dawn it-tokens jidhru bħala partita separata fuq il-fattura tiegħek. It-tokens ikkunsmati mill-graders tal-mudell jiġu fatturati bir-rati normali ta’ inferenza (prezzijiet ta’ OpenAI).

Għal xiex MA niffatturawx

Aħna ma niċċarġjawx għall-ħin imqatta’:

• Fil-validazzjoni jew l-ispezzjoni tad-dataset tiegħek qabel ma jibda t-taħriġ.

• F’kontrolli tas-sigurtà fuq id-dataset tiegħek.

• Tistenna fil-kju għar-riżorsi tal-komputazzjoni.

• Fit-tniżżil tal-piżijiet tal-mudell jew tad-datasets.

• Fit-tħejjija (rendering) tad-dataset tiegħek għall-format tat-taħriġ tagħna.

• F’evalwazzjonijiet tas-sigurtà wara t-taħriġ tal-mudell tiegħek irfinat.

Jekk xogħol tat-taħriġ jintilef minħabba żball min-naħa tagħna (pereżempju, jekk worker jiġġarraf u jkollu jmur lura għal checkpoint preċedenti), ma tiġix iċċarġjat għall-ħin ta’ komputazzjoni jew għat-tokens tal-grader li ntilfu. Aktar dettalji dwar dan fit-taqsima li jmiss.

Progress 'il quddiem maqbud u avvenimenti ta’ fatturazzjoni

It-taħriġ jikkonsisti f’ħafna aġġornamenti żgħar għall-mudell tiegħek. Aħna nsegwu kemm minn dawn l-aġġornamenti jitlestew b’suċċess. Il-ħlasijiet huma bbażati fuq il-ħin ta’ komputazzjoni u t-tokens tal-grader assoċjati ma’ dawn l-aġġornamenti li rnexxew.

Noħorġu ħlas meta jseħħ wieħed mill-"avvenimenti ta’ fatturazzjoni" li ġejjin:

• It-taħriġ jitlesta b’suċċess.

• Inti twaqqaf it-taħriġ.

• Inti tikkanċella t-taħriġ.

• It-taħriġ ifalli.

Kull ħlas ikopri x-xogħol inkrementali li sar mill-aħħar ħlas. Pereżempju:

• Jekk twaqqaf taħriġa, aħna nsalvaw checkpoint u niċċarġjawk għall-ħin ta’ komputazzjoni u t-tokens tal-grader użati mill-aħħar ħlas.

• Meta terġa’ tibda, it-taħriġ ikompli mill-checkpoint. Il-ħlas li jmiss (mat-tlestija, pawża oħra, kanċellazzjoni, jew falliment) ikopri biss ix-xogħol addizzjonali li jsir wara t-tkomplija.

• Jekk tikkanċella taħriġa, niċċarġjawk għax-xogħol li sar sal-kanċellazzjoni.

• Jekk it-taħriġ ifalli u jintilef xogħol mill-aħħar ħlas, ma tiġix fatturat għall-parti mitlufa.

Dan l-approċċ ta’ "progress 'il quddiem maqbud" jiżgura li tħallas biss għax-xogħol li jinżamm fil-mudell tiegħek jew li inti tabbanduna intenzjonalment.

Kif tara l-progress tal-kompitu

Il-kompiti RFT għandhom qasam imsejjaħ usage_metrics, li jirreġistra l-użu totali tal-kompitu sal-pass attwali. Dan jinkludi l-ħin mgħoddi fit-taħriġ u t-tokens kollha użati mill-mudelli evalwaturi kollha fil-kompitu. Dan il-qasam jista' jiġi ċċekkjat permezz tal-API (GET /v1/fine_tuning/jobs/{job_id}) jew mid-dashboard tal-irfinar.

Fatturi li jaffettwaw it-tul tat-taħriġ

Peress li l-ħlas huwa bbażat fuq il-ħin, l-għażliet tal-konfigurazzjoni tiegħek jaffettwaw direttament l-ispiża. Il-fatturi ewlenin jinkludu:

• Diffikultà tal-problemi: jekk is-sett tad-data tiegħek ikun magħmul minn problemi diffiċli, il-mudell x'aktarx iqatta' aktar ħin jirraġuna dwar kull problema, u għalhekk idum aktar biex jipproduċi kull kampjun.

• Intensità tal-komputazzjoni: L-iperparametru compute_multiplier jikkontrolla kemm tintuża komputazzjoni f'kull pass tat-taħriġ. Valuri ogħla jħeġġu lill-mudell jirraġuna f'aktar dettall dwar kull punt tad-data, u b'hekk kull pass idum aktar biex jitwettaq.

• Settings tal-validazzjoni:

• Prestazzjoni tal-evalwatur:

• Mudelli evalwaturi akbar jew aktar kapaċi jdumu aktar biex jagħtu evalwazzjoni minn dawk iżgħar. Pereżempju, l-evalwazzjoni b'mudell tar-raġunament tista' ddum 10 darbiet aktar mill-evalwazzjoni b'mudell li ma jużax ir-raġunament.

• Funzjonijiet kumplessi ta' evalwazzjoni f'Python idumu aktar biex jitħaddmu minn funzjonijiet sempliċi.

Dawn is-settings jippermettulek tibbilanċja l-ispiża, il-veloċità u l-kwalità tal-mudell. Pereżempju, validazzjoni frekwenti tista' taqbad il-problemi qabel, iżda żżid l-ispiża. L-evalwazzjoni b'mudell aktar avvanzat tista' ttejjeb drastikament il-preċiżjoni, iżda tnaqqas il-veloċità ta' kull pass tal-evalwazzjoni u tagħmel il-kompiti aktar għaljin.

Ġestjoni tal-ispejjeż

Biex tikkontrolla l-infiq tiegħek:

• Ibda b'eżekuzzjonijiet iqsar biex tifhem kif il-konfigurazzjoni tiegħek taffettwa l-ħin.

• Uża għadd raġonevoli ta' eżempji ta' validazzjoni u eval_samples. Tagħmilx validazzjoni aktar spiss milli meħtieġ.

• Agħżel l-iżgħar mudell evalwatur li jissodisfa r-rekwiżiti tal-kwalità tiegħek.

• Żomm effiċjenti l-evalwaturi personalizzati miktuba f'Python.

• Aġġusta compute_multiplier biex tibbilanċja l-veloċità tal-konverġenza u l-ispiża.

• Immonitorja l-eżekuzzjoni tiegħek mid-dashboard jew permezz tal-API. Tista' twaqqafha temporanjament jew tikkanċellaha fi kwalunkwe ħin.

Eżempji

Eżekuzzjoni ta’ taħriġ b’suċċess

F’dan il-każ, il-ħin totali reali huwa 6 sigħat, iżda 4 sigħat biss huma fatturabbli. L-ispiża tkun 4 sigħat × $100/siegħa = $400.

Eżempju ta’ xogħol fallut

F’dan l-eżempju, l-eżekuzzjoni tħarreġ għal 2 sigħat, tikteb checkpoint, tħarreġ għal siegħa oħra, iżda mbagħad tfalli. Huma fatturabbli biss iż-2 sigħat ta’ taħriġ sal-checkpoint.

Għalkemm b’kollox intefqu 3 sigħat fit-taħriġ, 2 sigħat biss huma "maqbuda" f’checkpoint li jista’ jintuża u jiġu fatturati. Is-siegħa xogħol ta’ taħriġ mitlufa minħabba l-falliment mhix ir-responsabbiltà tiegħek. L-ispiża tkun 2 sigħat × $100/siegħa = $200.

Mistoqsijiet frekwenti

Meta niġi ċċarġjat?

Noħorġulek fattura meta l-eżekuzzjoni tiegħek titlesta, titwaqqaf temporanjament, tiġi kkanċellata jew tfalli. Kull fattura tkopri x-xogħol li jkun sar minn mindu nħarġet il-fattura preċedenti.

Inħallas jekk eżekuzzjoni tfalli?

Jekk eżekuzzjoni tfalli minħabba żball min-naħa tagħna u jintilef xi xogħol ta’ taħriġ reċenti, ma tiġix iċċarġjat għall-parti mitlufa. Jekk tikkanċella eżekuzzjoni, tiġi ċċarġjat għax-xogħol sal-kanċellazzjoni.

Kif jiġu fatturati t-tokens tal-mudelli tal-graders?

Ngħoddu t-tokens użati minn kwalunkwe graders tal-mudell li tikkonfigura. Wara li jintemm it-taħriġ, niffatturaw dawk it-tokens bir-rati standard tagħna għal kull token.

Nista’ nwaqqaf temporanjament u nkompli eżekuzzjoni?

Iva. Meta twaqqaf temporanjament, niffrankaw checkpoint u niċċarġjaw għax-xogħol li sar sa dak il-punt. Meta tkompli, tiġi ċċarġjat biss għax-xogħol addizzjonali li jsir wara li tkompli.

Jekk għandek mistoqsijiet oħra dwar il-fatturar ta’ Reinforcement Fine‑Tuning, ikkuntattja lit-tim ta’ appoġġ tagħna.