Cara kerja panagihan kanggo RFT

Reinforcement Fine‑Tuning (RFT) ngidini sampeyan ngoptimalake kinerja model nalar OpenAI nganggo sinau penguatan. Ora kaya tawaran fine‑tuning terawasi utawa adhedhasar preferensi saka kami, sing ditagih miturut jumlah token ing dataset latihan, RFT ditagih adhedhasar suwene wektu proses latihan sampeyan nindakake pakaryan inti sinau mesin.

Rega

• Compute: $100 saben jam wall-clock time sing digunakake ing loop pelatihan inti kanggo o4-mini-2025-04-16. Biaya diprorata nganti per detik lan dibuletake dadi rong angka desimal ing invoice (umpamane, 2.55 jam).

• Panggunaan model grader: Yen sampeyan nggunakake model OpenAI kanggo “mènèhi nilai” output sajrone pelatihan, token sing dikonsumsi dening panggilan grading kasebut ditagih kapisah nganggo tarif API standar sawisé pelatihan rampung.

Kami mung nagih kanggo kerja pelatihan sing tenan nganyari model sampeyan (sing kami sebut “captured forward progress”).

Apa sing ditagih

Kita nagih wektu sing digunakake worker latihan sampeyan kanggo aktif nglatih model sampeyan, yaiku:

• Ngasilake sampel saka model sampeyan sajrone proses fine-tuning (dikenal minangka “rollouts”)

• Ngevaluasi output kasebut nganggo siji utawa luwih grader sing wis sampeyan tetepake ing job (sinau luwih akeh babagan grader)

• Ngitung lan ngetrapake nganyari bobot adhedhasar biji (backpropagation).

• Nglakokake langkah validasi (evaluasi) apa wae sing wis sampeyan konfigurasi.

Umume grader “gratis” kanggo dilakokake, tegese kita ora nagih ekstra kanggo panggunaane saliyane jumlah wektu sing disumbangake menyang loop latihan inti. Pengecualiane yaiku kanggo grader model, ing kono kita uga ngetung token sing dikonsumsi grader kasebut sajrone aktivitas ing ndhuwur. Token iki katon minangka item baris kapisah ing invoice sampeyan. Token sing dikonsumsi grader model ditagih nganggo tarif inferensi normal (rega OpenAI).

Apa wae sing ORA kami tagih

Kami ora nagih kanggo wektu sing digunakake kanggo:

• Memvalidasi utawa mriksa dataset sampeyan sadurunge pelatihan diwiwiti.

• Pemeriksaan keamanan ing dataset sampeyan.

• Ngenteni ing antrean kanggo sumber daya compute.

• Ngunduh bobot model utawa dataset.

• Nyiyapake (rendering) dataset sampeyan menyang format pelatihan kami.

• Evaluasi keamanan sawisé pelatihan kanggo model fine-tuned sampeyan.

Yen kerja pelatihan ilang amarga kesalahan saka pihak kami (contone, yen worker crash lan kudu bali menyang checkpoint sadurunge), sampeyan ora ditagih kanggo wektu compute utawa token grader sing ilang. Rincian luwih lanjut ana ing bagean sabanjure.

Captured forward progress lan peristiwa tagihan

Pelatihan kasusun saka akeh pembaruan cilik kanggo model sampeyan. Kami nglacak pira saka pembaruan iki sing rampung kanthi sukses. Biaya adhedhasar wektu compute lan token grader sing gegandhengan karo pembaruan sukses kasebut.

Kami ngetokake tagihan nalika salah siji saka “billing events” ing ngisor iki kedadeyan:

• Pelatihan rampung kanthi sukses.

• Sampeyan njeda pelatihan.

• Sampeyan mbatalake pelatihan.

• Pelatihan gagal.

Saben tagihan nyakup kerja tambahan sing ditindakake wiwit tagihan pungkasan. Contone:

• Yen sampeyan njeda run, kami nyimpen checkpoint lan nagih sampeyan kanggo wektu compute lan token grader sing digunakake wiwit tagihan pungkasan.

• Nalika sampeyan nerusake, pelatihan diterusake saka checkpoint. Tagihan sabanjure (nalika rampung, jeda maneh, pembatalan, utawa gagal) mung bakal nyakup kerja tambahan sing ditindakake sawisé diterusake.

• Yen sampeyan mbatalake run, kami nagih sampeyan kanggo kerja sing ditindakake nganti wektu pembatalan.

• Yen pelatihan gagal lan kerja wiwit tagihan pungkasan ilang, sampeyan ora ditagih kanggo bagean sing ilang.

Pendekatan “captured forward progress” iki njamin sampeyan mung mbayar kanggo kerja sing tetep ana ing model sampeyan utawa sing sengaja sampeyan tinggalake.

Ndeleng progres job

Job RFT nduweni kolom sing diarani usage_metrics sing ndokumentasikake total panggunaan job nganti langkah saiki. Iki kalebu wektu kanggo latihan, lan kabeh token sing digunakake ing kabeh grader model ing job kasebut. Kolom iki bisa dipriksa liwat API (GET /v1/fine_tuning/jobs/{job_id}) utawa liwat dasbor fine-tuning.

Faktor sing mengaruhi wektu pelatihan

Amarga tagihan adhedhasar wektu, pilihan konfigurasi sampeyan langsung mengaruhi biaya. Faktor utama kalebu:

• Tingkat kesulitan masalah: yen dataset sampeyan kasusun saka masalah sing angel, model mesthi bakal ngentekake wektu luwih suwe kanggo nalar saben masalah, sing nambah wektu kanggo ngasilake saben sampel.

• Intensitas compute: Hyperparameter compute_multiplier ngatur sepira akeh komputasi sing ditindakake saben langkah pelatihan. Nilai sing luwih dhuwur nyengkuyung model supaya nalar luwih rinci kanggo saben datapoint, sing ndadekake saben langkah mlaku luwih alon.

• Setelan validasi:

  • Validation set sing luwih gedhe nambah wektu sing digunakake kanggo evaluasi.

  • Nambah eval_samples (jumlah output model sing dinilai saben conto validasi) nambah wektu validasi.

  • Mbukak validasi luwih kerep (eval_interval luwih cilik) nambah proporsi wektu sing digunakake kanggo validasi.

• Kinerja grader:

  • Model grader sing luwih gedhe utawa luwih mumpuni butuh wektu luwih suwe kanggo ngasilake nilai tinimbang sing luwih cilik. Contone, penilaian nganggo model nalar bisa nganti 10x luwih suwe tinimbang nganggo model non-nalar.

  • Fungsi grading Python sing kompleks butuh wektu luwih suwe tinimbang sing sederhana.

Setelan iki ngidini sampeyan nimbang-nimbang biaya, kecepatan, lan kualitas model. Contone, validasi sing kerep bisa ndeteksi masalah luwih awal nanging nambah biaya. Grading nganggo model sing luwih canggih bisa ningkatake akurasi penilaian kanthi drastis, nanging bakal ngalonake saben langkah grading lan nggawe job luwih larang.

Ngatur biaya

Kanggo ngontrol pangeluaran sampeyan:

• Wiwiti nganggo run sing luwih cendhak kanggo mangerteni kepiye konfigurasi sampeyan mengaruhi wektu.

• Gunakake jumlah conto validasi lan eval_samples sing wajar. Aja nindakake validasi luwih kerep tinimbang sing dibutuhake.

• Pilih model grader paling cilik sing nyukupi syarat kualitas sampeyan.

• Jaga grader Python kustom tetep efisien.

• Atur compute_multiplier kanggo nyeimbangi kecepatan konvergensi lan biaya.

• Pantau run sampeyan ing dashboard utawa liwat API. Sampeyan bisa njeda utawa mbatalake kapan wae.

Conto

Run latihan sing kasil

Ing kasus iki, total wektu wall-clock yaiku 6 jam, nanging mung 4 jam sing bisa ditagih. Biayane dadi 4 jam × $100/jam = $400.

Conto job gagal

Ing conto iki, run latihan 2 jam, nulis checkpoint, latihan 1 jam maneh, nanging banjur gagal. Mung 2 jam latihan nganti checkpoint sing bisa ditagih.

Sanajan total 3 jam digunakake kanggo latihan, mung 2 jam sing “kacathet” ing checkpoint sing bisa digunakake lan ditagih. Jam karya latihan sing ilang amarga kegagalan iku dudu tanggung jawab sampeyan. Biayane dadi 2 jam × $100/jam = $200.

Pitakonan sing asring ditakokake

Kapan aku dikenani biaya?

Kita nagih nalika run sampeyan rampung, dijeda, dibatalake, utawa gagal. Saben tagihan nyakup karya sing rampung wiwit tagihan sadurunge.

Apa aku mbayar yen run gagal?

Yen run gagal amarga error saka pihak kita lan karya latihan paling anyar ilang, sampeyan ora dikenani biaya kanggo bagean sing ilang. Yen sampeyan mbatalake run, sampeyan dikenani biaya kanggo karya nganti wektu pambatalan.

Kepiye token model grader ditagih?

Kita ngetung token sing digunakake dening grader model apa wae sing sampeyan konfigurasi. Sawise latihan rampung, kita nagih token kasebut nganggo tarif standar saben token.

Apa aku bisa ngaso lan nerusake run?

Ya. Nalika sampeyan ngaso, kita nyimpen checkpoint lan nagih karya sing wis rampung nganti saiki. Nalika sampeyan nerusake, sampeyan mung bakal dikenani biaya kanggo karya tambahan sing rampung sawise diterusake.

Yen sampeyan duwe pitakon liyane babagan tagihan Reinforcement Fine‑Tuning, hubungi tim dhukungan kita.