Hvernig RFT er gjaldfært

Reinforcement Fine‑Tuning (RFT) gerir þér kleift að hámarka frammistöðu rakalíkana OpenAI með styrkingarnámi. Ólíkt lausnum okkar fyrir fínstillingu með leiðsögn eða eftir kjörum, sem eru gjaldfærðar eftir fjölda tóka í þjálfunargagnasafninu, er RFT gjaldfært út frá þeim tíma sem þjálfunarkeyrslan þín ver í kjarna vélanámsvinnunnar.

Verðlagning

• Útreikningar: 100 Bandaríkjadalir fyrir hverja klukkustund af rauntíma í meginþjálfunarlykkju o4-mini-2025-04-16. Gjöld eru hlutfallsreiknuð niður á sekúndu og námunduð að tveimur aukastöfum á reikningnum (t.d. 2,55 klukkustundir).

• Notkun matslíkans: Ef OpenAI-líkan er notað til að "meta" úttök við þjálfun eru tókar sem matsköllin nota gjaldfærðir sérstaklega samkvæmt venjulegri API-verðskrá okkar þegar þjálfun lýkur.

Við gjaldfærum aðeins þjálfunarvinnu sem uppfærir líkanið í raun (það sem við köllum "skráðar framfarir").

Fyrir hvað við rukka

Við rukkuðum fyrir tímann sem þjálfunarvinnari þinn eyðir í virka þjálfun á líkaninu þínu, nánar tiltekið:

• Að búa til sýni úr líkaninu þínu í fínstillingarferlinu (þekkt sem „útkeyrslur“)

• Að meta þessi úttök með einum eða fleiri matsaðilum sem þú hefur skilgreint í verkinu (frekari upplýsingar um matsaðila)

• Að reikna og beita uppfærslum á vigtum út frá einkunnunum (bakflæði).

• Að keyra öll staðfestingar- eða matsþrep sem þú hefur stillt.

Flestir matsaðilar eru „ókeypis“ í keyrslu, sem þýðir að við rukkuðum ekki sérstaklega fyrir notkun þeirra umfram þann tíma sem þeir leggja til grunnþjálfunarlykkjunnar. Undantekningin á þessu er fyrir matslíkön, þar sem við teljum einnig tókana sem þessir matsaðilar nota við ofangreindar aðgerðir. Þessir tókar birtast sem sérstakur liður á reikningnum þínum. Tókar sem matslíkön nota eru reikningsfærðir á venjulegu ályktunarverði (verðskrá OpenAI).

Það sem við rukkum EKKI fyrir

Við rukkum ekki fyrir tíma sem fer í:

• Að sannreyna eða skoða gagnasafnið þitt áður en þjálfun hefst.

• Öryggisathuganir á gagnasafninu þínu.

• Að bíða í biðröð eftir reikniauðlindum.

• Að hlaða niður vægisstuðlum líkans eða gagnasöfnum.

• Að undirbúa (rendera) gagnasafnið þitt á þjálfunarsnið okkar.

• Öryggismat eftir þjálfun á fínstillta líkaninu þínu.

Ef þjálfunarvinna tapast vegna villu af okkar hálfu (til dæmis ef vinnsluþráður hrynur og þarf að bakka til fyrri vistpunkts) er ekki rukkað fyrir tapaðan reiknitíma eða dómara-tóka. Nánari upplýsingar um þetta eru í næsta kafla.

Varðveitt framvinda og gjaldtökuatburðir

Þjálfun samanstendur af mörgum litlum uppfærslum á líkaninu þínu. Við fylgjumst með hversu margar af þessum uppfærslum klárast með árangri. Gjöld byggjast á reiknitímanum og dómara-tókunum sem tengjast þessum uppfærslum sem heppnast.

Við innheimtum gjald þegar einn af eftirfarandi „gjaldtökuatburðum“ á sér stað:

• Þjálfun lýkur með árangri.

• Þú setur þjálfun á hlé.

• Þú hættir við þjálfun.

• Þjálfun mistekst.

Hvert gjald nær yfir þá viðbótarvinnu sem unnin hefur verið frá síðasta gjaldi. Til dæmis:

• Ef þú setur keyrslu á hlé vistum við vistpunkt og rukkum þig fyrir reiknitímann og dómara-tókana sem voru notaðir frá síðasta gjaldi.

• Þegar þú heldur áfram heldur þjálfun áfram frá vistpunktinum. Næsta gjald (við lok, annað hlé, afbókun eða bilun) nær aðeins yfir viðbótarvinnuna sem unnin er eftir endurræsingu.

• Ef þú hættir við keyrslu rukkum við þig fyrir vinnuna sem var unnin fram að afbókun.

• Ef þjálfun mistekst og vinna frá síðasta gjaldi tapast, ertu ekki rukkaður fyrir tapaða hlutann.

Þessi nálgun með „varðveittri framvindu“ tryggir að þú borgir aðeins fyrir vinnu sem varðveitist í líkaninu þínu eða sem þú ákveður sjálfur að yfirgefa.

Framvinda verks skoðuð

RFT-verk hafa reit sem nefnist usage_metrics og skráir heildarnotkun verksins fram að núverandi skrefi. Þar með talinn er tíminn sem fer í þjálfun og allir tókar sem matslíkön verksins nota. Hægt er að skoða þennan reit í gegnum API-viðmótið (GET /v1/fine_tuning/jobs/{job_id}) eða á stjórnborði fínstillingar.

Þættir sem hafa áhrif á þjálfunartíma

Þar sem gjaldfærsla miðast við tíma hafa stillingarnar bein áhrif á kostnaðinn. Helstu þættir eru:

• Erfiðleikastig verkefna: Ef gagnasafnið inniheldur erfið verkefni ver líkanið líklega meiri tíma í rökhugsun um hvert þeirra, sem lengir tímann sem þarf til að útbúa hvert sýni.

• Reikniálag: Ofurbreytan compute_multiplier stýrir því hve mikla útreikninga er ráðist í fyrir hvert þjálfunarskref. Hærri gildi hvetja líkanið til ítarlegri rökhugsunar um hvern gagnapunkt, sem hægir á hverju skrefi.

• Stillingar sannprófunar:

• Afköst matskerfis:

• Stærri eða öflugri matslíkön eru lengur að skila mati en þau smærri. Til dæmis getur mat með rakalíkani tekið tífalt lengri tíma en mat með líkani sem er ekki rakalíkan.

• Flókin Python-matsföll eru lengur í keyrslu en einföld föll.

Með þessum stillingum má vega saman kostnað, hraða og gæði líkansins. Tíð sannprófun getur til dæmis greint vandamál fyrr en eykur kostnað. Mat með þróaðra líkani getur aukið nákvæmni matsins verulega en hægir á hverju matsskrefi og gerir verkin dýrari.

Kostnaðarstýring

Til að halda útgjöldum í skefjum:

• Byrjaðu á styttri keyrslum til að sjá hvernig stillingarnar hafa áhrif á tímann.

• Notaðu hæfilegan fjölda sannprófunardæma og eval_samples. Ekki sannprófa oftar en þörf krefur.

• Veldu minnsta matslíkanið sem uppfyllir gæðakröfurnar.

• Hafðu sérsniðin Python-matskerfi skilvirk.

• Stilltu compute_multiplier til að ná jafnvægi milli samleitnihraða og kostnaðar.

• Fylgstu með keyrslunni á stjórnborðinu eða í gegnum API-viðmótið. Þú getur gert hlé eða hætt hvenær sem er.

Dæmi

Vel heppnuð þjálfunarkeyrsla

Í þessu tilviki er heildartíminn 6 klukkustundir, en aðeins 4 klukkustundir eru reikningsfærðar. Kostnaðurinn væri 4 klst. × $100/klst. = $400.

Dæmi um misheppnað verk

Í þessu dæmi þjálfar keyrslan í 2 klukkustundir, skrifar varðpunkt, þjálfar í 1 klukkustund til viðbótar en mistekst svo. Aðeins 2 klukkustundirnar af þjálfun fram að varðpunktinum eru reikningsfærðar.

Þótt samtals 3 klukkustundir hafi farið í þjálfun eru aðeins 2 klukkustundir „fangaðar“ í nothæfum varðpunkti og reikningsfærðar. Þú berð ekki ábyrgð á þjálfunarvinnunni sem tapaðist vegna bilunarinnar. Kostnaðurinn væri 2 klst. × $100/klst. = $200.

Algengar spurningar

Hvenær er gjaldfært?

Við gjaldfærum þegar keyrslunni lýkur, gert er hlé á henni, henni er hætt eða hún mistekst. Hver gjaldfærsla nær yfir vinnu frá síðustu gjaldfærslu.

Borga ég ef keyrsla mistekst?

Ef keyrsla mistekst vegna villu hjá okkur og nýleg þjálfunarvinna tapast, er ekki rukkað fyrir tapaða hlutann. Ef þú hættir við keyrslu er rukkað fyrir vinnuna fram að afturkölluninni.

Hvernig er rukkað fyrir tóka matslíkana?

Við teljum tókana sem öll matslíkön sem þú stillir nota. Þegar þjálfun lýkur rukkuðum við fyrir þessa tóka á stöðluðu verði okkar fyrir hvern tóka.

Get ég sett keyrslu í bið og haldið henni áfram?

Já. Þegar þú setur í bið vistum við varðpunkt og rukkuðum fyrir vinnuna sem þegar er unnin. Þegar þú heldur áfram verður aðeins rukkað fyrir viðbótarvinnu sem fer fram eftir að haldið er áfram.

Ef þú hefur aðrar spurningar um reikningagerð vegna styrkingarfínstillingar, hafðu samband við þjónustuteymið okkar.