Sådan fungerer fakturering for RFT

Reinforcement Fine‑Tuning (RFT) giver dig mulighed for at optimere ydeevnen for OpenAIs ræsonneringsmodeller ved hjælp af forstærkende læring. I modsætning til vores tilbud om superviseret finjustering eller præferencefinjustering, som faktureres efter antallet af tokens i træningsdatasættet, faktureres RFT ud fra den tid, din træningskørsel bruger på det centrale maskinlæringsarbejde.

Priser

• Beregning: 100 USD pr. times faktisk forløbet tid i den centrale træningsløkke for o4-mini-2025-04-16. Prisen beregnes forholdsmæssigt pr. sekund og afrundes til to decimaler på fakturaen (f.eks. 2,55 timer).

• Brug af modelbedømmere: Hvis du bruger en OpenAI-model til at »bedømme« output under træningen, faktureres de tokens, som disse bedømmelseskald bruger, separat til vores almindelige API-priser, når træningen er fuldført.

Vi opkræver kun betaling for træningsarbejde, der faktisk opdaterer din model (det, vi kalder »registreret fremdrift«).

Hvad vi fakturerer for

Vi fakturerer for den tid, din trænings-worker bruger på aktivt at træne din model, specifikt:

• Generering af eksempler fra din model under finjusteringsprocessen (kendt som »rollouts«)

• Evaluering af disse output med en eller flere bedømmere, som du har defineret på jobbet (få mere at vide om bedømmere)

• Beregning og anvendelse af vægtopdateringer baseret på bedømmelserne (backpropagation).

• Kørsel af eventuelle valideringstrin (evaluering), du har konfigureret.

De fleste bedømmere er »gratis« at køre, hvilket betyder, at vi ikke opkræver ekstra for deres brug ud over den tid, de bidrager med til den centrale træningsløkke. Undtagelsen er modelbedømmere, hvor vi også opgør de tokens, som disse bedømmere bruger under aktiviteterne ovenfor. Disse tokens vises som en separat post på din faktura. Tokens, der forbruges af modelbedømmere, faktureres til normale inferenspriser (OpenAI-priser).

Det fakturerer vi IKKE for

Vi opkræver ikke betaling for tid brugt på:

• Validering eller inspektion af dit datasæt, før træningen starter.

• Sikkerhedskontrol af dit datasæt.

• Ventetid i en kø på beregningsressourcer.

• Download af modelvægte eller datasæt.

• Forberedelse (rendering) af dit datasæt til vores træningsformat.

• Sikkerhedsevalueringer af din finjusterede model efter træning.

Hvis træningsarbejde går tabt på grund af en fejl fra vores side (for eksempel hvis en worker crasher og skal rulle tilbage til et tidligere checkpoint), bliver du ikke opkrævet for den tabte beregningstid eller bedømmertokens. Flere detaljer om dette i næste afsnit.

Captured forward progress og faktureringshændelser

Træning består af mange små opdateringer af din model. Vi sporer, hvor mange af disse opdateringer der fuldføres med succes. Gebyrer er baseret på beregningstiden og bedømmertokens forbundet med disse vellykkede opdateringer.

Vi udsteder en opkrævning, når en af følgende "faktureringshændelser" indtræffer:

• Træning fuldføres med succes.

• Du sætter træningen på pause.

• Du annullerer træningen.

• Træningen mislykkes.

Hver opkrævning dækker det inkrementelle arbejde udført siden den sidste opkrævning. For eksempel:

• Hvis du sætter et kørsel på pause, gemmer vi et checkpoint og opkræver dig for beregningstiden og bedømmertokens brugt siden den sidste opkrævning.

• Når du genoptager, fortsætter træningen fra checkpointet. Den næste opkrævning (ved fuldførelse, endnu en pause, annullering eller fejl) vil kun dække det ekstra arbejde udført efter genoptagelsen.

• Hvis du annullerer et kørsel, opkræver vi dig for det arbejde, der er udført frem til annulleringen.

• Hvis træningen mislykkes, og arbejde siden den sidste opkrævning går tabt, bliver du ikke faktureret for den tabte del.

Denne tilgang med "captured forward progress" sikrer, at du kun betaler for arbejde, der bevares i din model, eller som du bevidst opgiver.

Se status for et job

RFT-job har et felt kaldet usage_metrics, som dokumenterer jobbets samlede forbrug frem til det aktuelle trin. Det omfatter den tid, der bruges på træning, og alle tokens, der bruges på tværs af alle jobbets modelbedømmere. Feltet kan ses via API'et (GET /v1/fine_tuning/jobs/{job_id}) eller i dashboardet til finjustering.

Faktorer, der påvirker træningstiden

Da faktureringen er tidsbaseret, påvirker dine konfigurationsvalg omkostningerne direkte. De vigtigste faktorer er:

• Problemernes sværhedsgrad: Hvis dit datasæt består af vanskelige problemer, vil modellen sandsynligvis bruge mere tid på at ræsonnere sig gennem hvert problem, så det tager længere tid at generere hver prøve.

• Beregningsintensitet: Hyperparameteren compute_multiplier styrer, hvor mange beregninger der udføres pr. træningstrin. Højere værdier får modellen til at ræsonnere mere udførligt over hvert datapunkt, så hvert trin tager længere tid.

• Valideringsindstillinger:

• Bedømmerens ydeevne:

• Større eller mere avancerede modelbedømmere er længere om at returnere en bedømmelse end mindre modeller. Det kan f.eks. tage ti gange længere tid at bedømme med en ræsonneringsmodel end med en model uden ræsonnering.

• Komplekse bedømmelsesfunktioner i Python tager længere tid at køre end enkle funktioner.

Med disse indstillinger kan du afveje omkostninger, hastighed og modelkvalitet. Hyppig validering kan f.eks. opdage problemer tidligere, men øger omkostningerne. Bedømmelse med en mere avanceret model kan forbedre nøjagtigheden markant, men gør hvert bedømmelsestrin langsommere og jobbene dyrere.

Styring af omkostninger

Sådan holder du styr på dit forbrug:

• Start med kortere kørsler for at forstå, hvordan din konfiguration påvirker tidsforbruget.

• Brug et passende antal valideringseksempler og eval_samples. Undgå at validere oftere end nødvendigt.

• Vælg den mindste bedømmermodel, der opfylder dine kvalitetskrav.

• Sørg for, at dine egne Python-bedømmere er effektive.

• Juster compute_multiplier for at afveje konvergenshastighed og omkostninger.

• Overvåg din kørsel i dashboardet eller via API'et. Du kan til enhver tid sætte kørslen på pause eller annullere den.

Eksempler

Vellykket træningskørsel

I dette tilfælde er den samlede forløbne tid 6 timer, men kun 4 timer kan faktureres. Prisen ville være 4 timer × $100/time = $400.

Eksempel på mislykket job

I dette eksempel træner kørslen i 2 timer, skriver et kontrolpunkt, træner i yderligere 1 time, men mislykkes derefter. Kun de 2 timers træning frem til kontrolpunktet kan faktureres.

Selvom der i alt blev brugt 3 timer på træning, er kun 2 timer "registreret" i et brugbart kontrolpunkt og faktureres. Den times træningsarbejde, der gik tabt på grund af fejlen, er ikke dit ansvar. Prisen ville være 2 timer × $100/time = $200.

Ofte stillede spørgsmål

Hvornår bliver jeg opkrævet?

Vi fakturerer, når din kørsel er fuldført, sættes på pause, annulleres eller mislykkes. Hver faktura dækker det arbejde, der er udført siden den forrige faktura.

Betaler jeg, hvis en kørsel mislykkes?

Hvis en kørsel mislykkes på grund af en fejl hos os, og nyere træningsarbejde går tabt, bliver du ikke opkrævet for den tabte del. Hvis du annullerer en kørsel, opkræves du for arbejde frem til annulleringen.

Hvordan faktureres tokens fra bedømmermodeller?

Vi tæller de tokens, der bruges af de modelbedømmere, du konfigurerer. Når træningen er færdig, fakturerer vi disse tokens til vores standardpriser pr. token.

Kan jeg sætte en kørsel på pause og genoptage den?

Ja. Når du sætter på pause, gemmer vi et kontrolpunkt og opkræver for det arbejde, der er udført indtil videre. Når du genoptager, bliver du kun opkrævet for yderligere arbejde udført efter genoptagelsen.

Hvis du har andre spørgsmål om fakturering for Reinforcement Fine‑Tuning, kan du kontakte vores supportteam.