Kako funkcionira naplata preciznog podešavanja potkrepljivanjem

Precizno podešavanje potkrepljivanjem (RFT) omogućuje optimizaciju performansi OpenAI-jevih modela za rasuđivanje pomoću učenja s potkrepljivanjem. Za razliku od naših ponuda nadziranog preciznog podešavanja ili preciznog podešavanja prema preferencijama, koje se naplaćuju prema broju tokena u skupu podataka za obuku, RFT se naplaćuje na temelju vremena koje vaše izvođenje obuke provede obavljajući temeljni rad strojnog učenja.

Cijene

• Računalna obrada: 100 USD po satu stvarno proteklog vremena u glavnoj petlji treniranja za o4-mini-2025-04-16. Naknade se obračunavaju razmjerno svakoj sekundi, a na računu se zaokružuju na dvije decimale (npr. 2,55 sati).

• Upotreba modela za ocjenjivanje: ako tijekom treniranja upotrebljavate model tvrtke OpenAI za „ocjenjivanje” rezultata, tokeni potrošeni u tim pozivima za ocjenjivanje naplaćuju se zasebno prema našim standardnim cijenama API-ja nakon završetka treniranja.

Naplaćujemo samo treniranje kojim se vaš model doista ažurira (što nazivamo „zabilježenim napretkom”).

Što naplaćujemo

Naplaćujemo vrijeme koje vaš radni proces za treniranje provede aktivno trenirajući vaš model, konkretno:

• Generiranje uzoraka iz vašeg modela tijekom postupka preciznog podešavanja (poznato kao „rollouts”)

• Evaluiranje tih izlaza s jednim ili više ocjenjivača koje ste definirali za posao (saznajte više o ocjenjivačima)

• Izračunavanje i primjena ažuriranja težina na temelju ocjena (propagacija unatrag).

• Izvođenje svih koraka provjere valjanosti (evaluacije) koje ste konfigurirali.

Većina ocjenjivača „besplatna” je za pokretanje, što znači da ne naplaćujemo dodatno njihovu upotrebu izvan količine vremena kojom doprinose osnovnoj petlji treniranja. Iznimka su modelni ocjenjivači, kod kojih također zbrajamo tokene koje ti ocjenjivači potroše tijekom navedenih aktivnosti. Ti se tokeni pojavljuju kao zasebna stavka na vašem računu. Tokeni koje potroše modelni ocjenjivači naplaćuju se po uobičajenim cijenama zaključivanja (cijene OpenAI-ja).

Što NE naplaćujemo

Ne naplaćujemo vrijeme provedeno na:

• Validaciji ili pregledu vašeg skupa podataka prije početka treniranja.

• Sigurnosnim provjerama vašeg skupa podataka.

• Čekanju u redu za računalne resurse.

• Preuzimanju težina modela ili skupova podataka.

• Pripremi (renderiranju) vašeg skupa podataka u naš format za treniranje.

• Sigurnosnim evaluacijama vašeg precizno podešenog modela nakon treniranja.

Ako se rad treniranja izgubi zbog pogreške s naše strane (na primjer, ako se radnik sruši i mora se vratiti na prethodnu kontrolnu točku), izgubljeno vrijeme računanja ili tokeni ocjenjivača neće vam biti naplaćeni. Više pojedinosti o tome u sljedećem odjeljku.

Zabilježeni napredak unaprijed i događaji naplate

Treniranje se sastoji od mnogo malih ažuriranja vašeg modela. Pratimo koliko se tih ažuriranja uspješno dovrši. Naknade se temelje na vremenu računanja i tokenima ocjenjivača povezanima s tim uspješnim ažuriranjima.

Naplatu izdamo kada se dogodi jedan od sljedećih "događaja naplate":

• Treniranje se uspješno dovrši.

• Pauzirate treniranje.

• Otkažete treniranje.

• Treniranje ne uspije.

Svaka naplata pokriva inkrementalni rad obavljen od posljednje naplate. Na primjer:

• Ako pauzirate pokretanje, spremamo kontrolnu točku i naplaćujemo vam vrijeme računanja i tokene ocjenjivača upotrijebljene od posljednje naplate.

• Kada nastavite, treniranje se nastavlja od kontrolne točke. Sljedeća naplata (po dovršetku, drugoj pauzi, otkazivanju ili neuspjehu) obuhvatit će samo dodatni rad obavljen nakon nastavka.

• Ako otkažete pokretanje, naplaćujemo vam rad obavljen do otkazivanja.

• Ako treniranje ne uspije i rad od posljednje naplate bude izgubljen, taj izgubljeni dio vam se ne naplaćuje.

Ovaj pristup "zabilježenog napretka unaprijed" osigurava da plaćate samo rad koji je zadržan u vašem modelu ili koji namjerno napustite.

Praćenje napretka zadatka

Zadaci preciznog podešavanja potkrepljivanjem imaju polje usage_metrics, u kojem je zabilježena ukupna upotreba zadatka do trenutačnog koraka. To uključuje vrijeme utrošeno na treniranje i sve tokene koje su upotrijebili svi modeli za ocjenjivanje u zadatku. To se polje može provjeriti putem API-ja (GET /v1/fine_tuning/jobs/{job_id}) ili na nadzornoj ploči za precizno podešavanje.

Čimbenici koji utječu na trajanje treniranja

Budući da se naplata temelji na vremenu, odabir konfiguracije izravno utječe na trošak. Ključni čimbenici uključuju:

• Težina problema: ako se vaš skup podataka sastoji od teških problema, model će vjerojatno utrošiti više vremena na rasuđivanje o svakom problemu, pa će izrada svakog uzorka trajati dulje.

• Intenzitet računalne obrade: hiperparametar compute_multiplier određuje količinu računalne obrade po koraku treniranja. Veće vrijednosti potiču model na opširnije rasuđivanje o svakoj podatkovnoj točki, zbog čega svaki korak traje dulje.

• Postavke provjere valjanosti:

• Učinkovitost ocjenjivača:

• Većim ili sposobnijim modelima za ocjenjivanje treba više vremena da vrate ocjenu nego manjima. Primjerice, ocjenjivanje modelom za rasuđivanje može trajati deset puta dulje nego ocjenjivanje modelom koji nije namijenjen rasuđivanju.

• Složenim funkcijama za ocjenjivanje u Pythonu treba više vremena za izvođenje nego jednostavnima.

Te vam postavke omogućuju da uskladite trošak, brzinu i kvalitetu modela. Primjerice, česta provjera valjanosti može ranije otkriti probleme, ali povećava trošak. Ocjenjivanje naprednijim modelom može znatno poboljšati točnost ocjenjivanja, ali će usporiti svaki korak ocjenjivanja i povećati trošak zadataka.

Upravljanje troškovima

Da biste kontrolirali potrošnju:

• Započnite kraćim izvođenjima kako biste razumjeli kako vaša konfiguracija utječe na trajanje.

• Upotrijebite razuman broj primjera za provjeru valjanosti i vrijednosti eval_samples. Nemojte provjeravati valjanost češće nego što je potrebno.

• Odaberite najmanji model za ocjenjivanje koji ispunjava vaše zahtjeve kvalitete.

• Pobrinite se da prilagođeni ocjenjivači u Pythonu budu učinkoviti.

• Prilagodite compute_multiplier kako biste uravnotežili brzinu konvergencije i trošak.

• Pratite izvođenje na nadzornoj ploči ili putem API-ja. Izvođenje možete pauzirati ili otkazati u bilo kojem trenutku.

Primjeri

Uspješno izvođenje treniranja

U ovom slučaju ukupno stvarno vrijeme iznosi 6 sati, ali naplativa su samo 4 sata. Trošak bi bio 4 sata × $100/sat = $400.

Primjer neuspjelog posla

U ovom primjeru izvođenje trenira 2 sata, zapisuje kontrolnu točku, trenira još 1 sat, ali zatim ne uspije. Naplativa su samo 2 sata treniranja do kontrolne točke.

Iako su ukupno 3 sata provedena u treniranju, samo su 2 sata „obuhvaćena” upotrebljivom kontrolnom točkom i naplaćuju se. Sat rada na treniranju izgubljen zbog neuspjeha nije vaša odgovornost. Trošak bi bio 2 sata × $100/sat = $200.

Često postavljana pitanja

Kada se izvršava naplata?

Naplata se izvršava kada izvođenje završi, pauzira se, otkaže ili ne uspije. Svaka naplata obuhvaća rad obavljen od prethodne naplate.

Plaćam li ako izvođenje ne uspije?

Ako izvođenje ne uspije zbog naše pogreške i izgubi se nedavni rad na treniranju, izgubljeni dio vam se ne naplaćuje. Ako otkažete izvođenje, naplaćuje vam se rad do trenutka otkazivanja.

Kako se naplaćuju tokeni modela ocjenjivača?

Brojimo tokene koje upotrijebe svi modelni ocjenjivači koje konfigurirate. Nakon završetka treniranja te tokene naplaćujemo po našim standardnim cijenama po tokenu.

Mogu li pauzirati i nastaviti izvođenje?

Da. Kada pauzirate, spremamo kontrolnu točku i naplaćujemo do tada obavljen rad. Kada nastavite, naplatit će vam se samo dodatni rad obavljen nakon nastavka.

Ako imate drugih pitanja o naplati preciznog podešavanja potkrepljivanjem, obratite se našem timu za podršku.