Sådan fungerer fakturering for RFT

Reinforcement Fine‑Tuning (RFT) giver dig mulighed for at optimere ydeevnen for OpenAIs ræsonneringsmodeller ved hjælp af forstærkende læring. I modsætning til vores tilbud om superviseret finjustering eller præferencefinjustering, som faktureres efter antallet af tokens i træningsdatasættet, faktureres RFT ud fra den tid, din træningskørsel bruger på det centrale maskinlæringsarbejde.

Priser

• Compute: $100 pr. time vægurstid brugt i det centrale træningsloop for o4-mini-2025-04-16. Gebyrer beregnes forholdsmæssigt pr. sekund og afrundes til to decimaler på fakturaen (f.eks. 2,55 timer).

• Brug af modelbedømmer: Hvis du bruger en OpenAI-model til at "bedømme" output under træning, faktureres de tokens, som disse bedømmelseskald bruger, separat til vores standard-API-satser, efter at træningen er afsluttet.

Vi opkræver kun betaling for træningsarbejde, der faktisk opdaterer din model (det, vi kalder "captured forward progress").

Hvad vi fakturerer for

Vi fakturerer for den tid, din trænings-worker bruger på aktivt at træne din model, specifikt:

• Generering af eksempler fra din model under finjusteringsprocessen (kendt som »rollouts«)

• Evaluering af disse output med en eller flere bedømmere, som du har defineret på jobbet (få mere at vide om bedømmere)

• Beregning og anvendelse af vægtopdateringer baseret på bedømmelserne (backpropagation).

• Kørsel af eventuelle valideringstrin (evaluering), du har konfigureret.

De fleste bedømmere er »gratis« at køre, hvilket betyder, at vi ikke opkræver ekstra for deres brug ud over den tid, de bidrager med til den centrale træningsløkke. Undtagelsen er modelbedømmere, hvor vi også opgør de tokens, som disse bedømmere bruger under aktiviteterne ovenfor. Disse tokens vises som en separat post på din faktura. Tokens, der forbruges af modelbedømmere, faktureres til normale inferenspriser (OpenAI-priser).

Det fakturerer vi IKKE for

Vi opkræver ikke betaling for tid brugt på:

• Validering eller inspektion af dit datasæt, før træningen starter.

• Sikkerhedskontrol af dit datasæt.

• Ventetid i en kø på beregningsressourcer.

• Download af modelvægte eller datasæt.

• Forberedelse (rendering) af dit datasæt til vores træningsformat.

• Sikkerhedsevalueringer af din finjusterede model efter træning.

Hvis træningsarbejde går tabt på grund af en fejl fra vores side (for eksempel hvis en worker crasher og skal rulle tilbage til et tidligere checkpoint), bliver du ikke opkrævet for den tabte beregningstid eller bedømmertokens. Flere detaljer om dette i næste afsnit.

Captured forward progress og faktureringshændelser

Træning består af mange små opdateringer af din model. Vi sporer, hvor mange af disse opdateringer der fuldføres med succes. Gebyrer er baseret på beregningstiden og bedømmertokens forbundet med disse vellykkede opdateringer.

Vi udsteder en opkrævning, når en af følgende "faktureringshændelser" indtræffer:

• Træning fuldføres med succes.

• Du sætter træningen på pause.

• Du annullerer træningen.

• Træningen mislykkes.

Hver opkrævning dækker det inkrementelle arbejde udført siden den sidste opkrævning. For eksempel:

• Hvis du sætter et kørsel på pause, gemmer vi et checkpoint og opkræver dig for beregningstiden og bedømmertokens brugt siden den sidste opkrævning.

• Når du genoptager, fortsætter træningen fra checkpointet. Den næste opkrævning (ved fuldførelse, endnu en pause, annullering eller fejl) vil kun dække det ekstra arbejde udført efter genoptagelsen.

• Hvis du annullerer et kørsel, opkræver vi dig for det arbejde, der er udført frem til annulleringen.

• Hvis træningen mislykkes, og arbejde siden den sidste opkrævning går tabt, bliver du ikke faktureret for den tabte del.

Denne tilgang med "captured forward progress" sikrer, at du kun betaler for arbejde, der bevares i din model, eller som du bevidst opgiver.

Visning af jobstatus

RFT-jobs har et felt kaldet usage_metrics, som dokumenterer jobbets samlede forbrug frem til det aktuelle trin. Dette omfatter den tid, der er brugt på træning, og alle tokens, der er brugt på tværs af alle modelbedømmere på jobbet. Dette felt kan inspiceres via API'en (GET /v1/fine_tuning/jobs/{job_id}) eller via dashboardet til finjustering.

Faktorer, der påvirker træningstiden

Fordi fakturering er tidsbaseret, påvirker dine konfigurationsvalg direkte omkostningerne. Vigtige faktorer omfatter:

• Problemets sværhedsgrad: Hvis dit datasæt består af svære problemer, vil modellen sandsynligvis bruge mere tid på ræsonnering over hvert problem, hvilket øger den tid, det tager at producere hvert eksempel.

• Beregningsintensitet: Hyperparameteren compute_multiplier styrer, hvor meget beregning du udfører pr. træningstrin. Højere værdier tilskynder modellen til at ræsonnere mere udførligt over hvert datapunkt, hvilket får hvert trin til at køre langsommere.

• Valideringsindstillinger:

  • Et større valideringssæt øger den tid, der bruges på evaluering.

  • En stigning i eval_samples (antallet af modeloutput, der bedømmes pr. valideringseksempel) øger valideringstiden.

  • Hvis validering køres oftere (lavere eval_interval), øges andelen af tiden, der bruges på validering.

• Bedømmerens ydeevne:

  • Større eller mere kapable modelbedømmere er længere om at returnere en bedømmelse end mindre. For eksempel kan bedømmelse med en ræsonneringsmodel tage 10x længere tid end bedømmelse med en model uden ræsonnering.

  • Komplekse Python-bedømmelsesfunktioner tager længere tid at køre end enkle.

Disse indstillinger lader dig afveje omkostninger, hastighed og modelkvalitet. For eksempel kan hyppig validering opdage problemer tidligere, men øger omkostningerne. Bedømmelse med en mere avanceret model kan drastisk forbedre bedømmelsesnøjagtigheden, men vil gøre hvert bedømmelsestrin langsommere og gøre job dyrere.

Håndtering af omkostninger

Sådan styrer du dit forbrug:

• Start med kortere kørsler for at forstå, hvordan din konfiguration påvirker tiden.

• Brug et passende antal valideringseksempler og eval_samples. Undgå at validere oftere end nødvendigt.

• Vælg den mindste bedømmelsesmodel, der opfylder dine kvalitetskrav.

• Hold brugerdefinerede Python-bedømmere effektive.

• Juster compute_multiplier for at afbalancere konvergenshastighed og omkostninger.

• Overvåg dit kørsel i dashboardet eller via API'et. Du kan sætte på pause eller annullere når som helst.

Eksempler

Vellykket træningskørsel

I dette tilfælde er den samlede forløbne tid 6 timer, men kun 4 timer kan faktureres. Prisen ville være 4 timer × $100/time = $400.

Eksempel på mislykket job

I dette eksempel træner kørslen i 2 timer, skriver et kontrolpunkt, træner i yderligere 1 time, men mislykkes derefter. Kun de 2 timers træning frem til kontrolpunktet kan faktureres.

Selvom der i alt blev brugt 3 timer på træning, er kun 2 timer "registreret" i et brugbart kontrolpunkt og faktureres. Den times træningsarbejde, der gik tabt på grund af fejlen, er ikke dit ansvar. Prisen ville være 2 timer × $100/time = $200.

Ofte stillede spørgsmål

Hvornår bliver jeg opkrævet?

Vi fakturerer, når din kørsel er fuldført, sættes på pause, annulleres eller mislykkes. Hver faktura dækker arbejde udført siden den forrige faktura.

Betaler jeg, hvis en kørsel mislykkes?

Hvis en kørsel mislykkes på grund af en fejl hos os, og nyere træningsarbejde går tabt, bliver du ikke opkrævet for den tabte del. Hvis du annullerer en kørsel, opkræves du for arbejde frem til annulleringen.

Hvordan faktureres tokens fra bedømmermodeller?

Vi tæller de tokens, der bruges af de modelbedømmere, du konfigurerer. Når træningen er færdig, fakturerer vi disse tokens til vores standardpriser pr. token.

Kan jeg sætte en kørsel på pause og genoptage den?

Ja. Når du sætter på pause, gemmer vi et kontrolpunkt og opkræver for det arbejde, der er udført indtil videre. Når du genoptager, bliver du kun opkrævet for yderligere arbejde udført efter genoptagelsen.

Hvis du har andre spørgsmål om fakturering for Reinforcement Fine‑Tuning, kan du kontakte vores supportteam.