Så fungerar fakturering för RFT

Med Reinforcement Fine‑Tuning (RFT) kan du optimera prestandan hos OpenAI:s resonemangsmodeller med hjälp av förstärkningsinlärning. Till skillnad från våra erbjudanden för övervakad finjustering eller preferensfinjustering, som faktureras efter antalet token i träningsdatauppsättningen, faktureras RFT baserat på den tid som din träningskörning ägnar åt att utföra det centrala maskininlärningsarbetet.

Prissättning

• Beräkning: 100 USD per timme faktisk tid i den centrala träningsslingan för o4-mini-2025-04-16. Avgifter proportioneras per sekund och avrundas till två decimaler på fakturan (t.ex. 2,55 timmar).

• Användning av Modell-granskare: Om du använder en OpenAI-modell för att ”betygsätta” utdata under träningen debiteras token som förbrukas av dessa betygsanrop separat enligt våra vanliga API-priser när träningen har slutförts.

Vi debiterar bara för träningsarbete som faktiskt uppdaterar din modell (det vi kallar ”captured forward progress”).

Vad vi fakturerar för

Vi fakturerar för den tid din träningsworker ägnar åt att aktivt träna din modell, närmare bestämt:

• Generera exempel från din modell under finjusteringsprocessen (kallas ”rollouts”)

• Utvärdera dessa utdata med en eller flera graderare som du har definierat i jobbet (läs mer om graderare)

• Beräkna och tillämpa viktuppdateringar baserat på betygen (backpropagation).

• Köra eventuella valideringssteg (utvärderingssteg) som du har konfigurerat.

De flesta graderare är ”gratis” att köra, vilket innebär att vi inte tar ut någon extra avgift för deras användning utöver den tid de bidrar med till den centrala träningsloopen. Undantaget är modellgraderare, där vi även räknar de token som dessa graderare förbrukar under aktiviteterna ovan. Dessa token visas som en separat rad på din faktura. Token som förbrukas av modellgraderare faktureras enligt normala inferenspriser (OpenAI-priser).

Det vi INTE debiterar för

Vi tar inte betalt för tid som läggs på:

• Att validera eller granska ditt dataset innan träningen startar.

• Säkerhetskontroller av ditt dataset.

• Att vänta i kö på beräkningsresurser.

• Att hämta modellvikter eller dataset.

• Att förbereda (rendera) ditt dataset till vårt träningsformat.

• Säkerhetsutvärderingar av din finjusterade modell efter träningen.

Om träningsarbete går förlorat på grund av ett fel från vår sida (till exempel om en worker kraschar och måste återgå till en tidigare checkpoint) debiteras du inte för den förlorade beräkningstiden eller granskar-token. Mer information om detta finns i nästa avsnitt.

Captured forward progress och debiteringshändelser

Träningen består av många små uppdateringar av din modell. Vi spårar hur många av dessa uppdateringar som slutförs framgångsrikt. Avgifter baseras på beräkningstiden och granskar-token som är kopplade till dessa lyckade uppdateringar.

Vi debiterar när någon av följande ”debiteringshändelser” inträffar:

• Träningen slutförs.

• Du pausar träningen.

• Du avbryter träningen.

• Träningen misslyckas.

Varje debitering omfattar det inkrementella arbete som utförts sedan den senaste debiteringen. Till exempel:

• Om du pausar en körning sparar vi en checkpoint och debiterar dig för beräkningstiden och granskar-token som använts sedan den senaste debiteringen.

• När du återupptar fortsätter träningen från checkpointen. Nästa debitering (vid slutförande, ytterligare en paus, avbrott eller fel) omfattar bara det extra arbete som utförts efter återupptagandet.

• Om du avbryter en körning debiterar vi dig för arbetet som utförts fram till avbrottet.

• Om träningen misslyckas och arbete sedan den senaste debiteringen går förlorat debiteras du inte för den förlorade delen.

Denna metod för ”captured forward progress” säkerställer att du bara betalar för arbete som behålls i din modell eller som du medvetet överger.

Visa jobbförlopp

RFT-jobb har ett fält som heter usage_metrics och som dokumenterar jobbets totala användning fram till det aktuella steget. Detta inkluderar tiden som lagts på träning och alla token som använts av alla modellgraderare i jobbet. Det här fältet kan granskas via API:et (GET /v1/fine_tuning/jobs/{job_id}) eller via dashboarden för finjustering.

Faktorer som påverkar träningstiden

Eftersom debiteringen är tidsbaserad påverkar dina konfigurationsval kostnaden direkt. Viktiga faktorer är:

• Problemets svårighetsgrad: om ditt dataset består av svåra problem kommer modellen sannolikt att lägga mer tid på resonemang kring varje problem, vilket ökar tiden det tar att producera varje exempel.

• Beräkningsintensitet: Hyperparametern compute_multiplier styr hur mycket beräkning du gör per träningssteg. Högre värden uppmuntrar modellen att resonera mer utförligt om varje datapunkt, vilket gör att varje steg körs långsammare.

• Valideringsinställningar:

  • En större valideringsuppsättning ökar tiden som läggs på utvärdering.

  • Om du ökar eval_samples (antalet modellutdata som betygsätts per valideringsexempel) ökar valideringstiden.

  • Om validering körs oftare (lägre eval_interval) ökar andelen tid som läggs på validering.

• Granskarprestanda:

  • Större eller mer kapabla Modell-granskare tar längre tid att returnera ett betyg än mindre. Att betygsätta med en resonemangsmodell kan till exempel ta 10 gånger längre tid än med en modell utan resonemang.

  • Komplexa Python-funktioner för betygsättning tar längre tid att köra än enkla.

Med dessa inställningar kan du balansera kostnad, hastighet och Modell-kvalitet. Tät validering kan till exempel upptäcka problem tidigare men ökar kostnaden. Betygssättning med en mer avancerad modell kan avsevärt förbättra noggrannheten, men den gör varje betygssteg långsammare och jobben dyrare.

Hantera kostnader

Så här kan du kontrollera dina utgifter:

• Börja med kortare körningar för att förstå hur din konfiguration påverkar tiden.

• Använd ett rimligt antal valideringsexempel och eval_samples. Undvik att validera oftare än du behöver.

• Välj den minsta granskar-modellen som uppfyller dina kvalitetskrav.

• Se till att anpassade Python-granskare är effektiva.

• Justera compute_multiplier för att balansera konvergenshastighet och kostnad.

• Övervaka körningen i instrumentpanelen eller via API:t. Du kan pausa eller avbryta när som helst.

Exempel

Lyckad träningskörning

I det här fallet är den totala förflutna tiden 6 timmar, men endast 4 timmar är fakturerbara. Kostnaden skulle bli 4 timmar × $100/timme = $400.

Exempel på misslyckat jobb

I det här exemplet tränar körningen i 2 timmar, skriver en checkpoint, tränar i ytterligare 1 timme, men misslyckas sedan. Endast de 2 timmarnas träning fram till checkpointen är fakturerbara.

Även om totalt 3 timmar lades på träning är endast 2 timmar "sparade" i en användbar checkpoint och faktureras. Du ansvarar inte för den timmes träningsarbete som gick förlorad på grund av felet. Kostnaden skulle bli 2 timmar × $100/timme = $200.

Vanliga frågor

När debiteras jag?

Vi fakturerar när din körning slutförs, pausas, avbryts eller misslyckas. Varje faktura omfattar arbete som utförts sedan föregående faktura.

Betalar jag om en körning misslyckas?

Om en körning misslyckas på grund av vårt fel och nyligt träningsarbete går förlorat, debiteras du inte för den förlorade delen. Om du avbryter en körning debiteras du för arbete fram till avbrottet.

Hur faktureras token för graderingsmodeller?

Vi räknar de token som används av de modellgraderare du konfigurerar. När träningen är klar fakturerar vi dessa token enligt våra standardpriser per token.

Kan jag pausa och återuppta en körning?

Ja. När du pausar sparar vi en checkpoint och debiterar för arbete som utförts hittills. När du återupptar debiteras du endast för ytterligare arbete som utförs efter återupptagandet.

Om du har andra frågor om fakturering för Reinforcement Fine‑Tuning kan du kontakta vårt supportteam.