Hvernig RFT er gjaldfært

Reinforcement Fine‑Tuning (RFT) gerir þér kleift að hámarka frammistöðu rakalíkana OpenAI með styrkingarnámi. Ólíkt lausnum okkar fyrir fínstillingu með leiðsögn eða eftir kjörum, sem eru gjaldfærðar eftir fjölda tóka í þjálfunargagnasafninu, er RFT gjaldfært út frá þeim tíma sem þjálfunarkeyrslan þín ver í kjarna vélanámsvinnunnar.

Verðlagning

• Reiknivinna: $100 á klukkustund af rauntíma sem fer í kjarnahring þjálfunarinnar fyrir o4-mini-2025-04-16. Gjöld eru hlutfallsreiknuð niður á sekúndu og námunduð að tveimur aukastöfum á reikningi (t.d. 2.55 klukkustundir).

• Notkun líkanadómara: Ef þú notar líkan frá OpenAI til að „gefa einkunn“ á úttökum meðan á þjálfun stendur, eru tókarnir sem þessar matskallanir nota rukkaðir sérstaklega samkvæmt stöðluðum API-verðum okkar eftir að þjálfun lýkur.

Við rukkum aðeins fyrir þjálfunarvinnu sem uppfærir líkanið þitt í raun (það sem við köllum „framvindu sem varðveitist“).

Fyrir hvað við rukka

Við rukkuðum fyrir tímann sem þjálfunarvinnari þinn eyðir í virka þjálfun á líkaninu þínu, nánar tiltekið:

• Að búa til sýni úr líkaninu þínu í fínstillingarferlinu (þekkt sem „útkeyrslur“)

• Að meta þessi úttök með einum eða fleiri matsaðilum sem þú hefur skilgreint í verkinu (frekari upplýsingar um matsaðila)

• Að reikna og beita uppfærslum á vigtum út frá einkunnunum (bakflæði).

• Að keyra öll staðfestingar- eða matsþrep sem þú hefur stillt.

Flestir matsaðilar eru „ókeypis“ í keyrslu, sem þýðir að við rukkuðum ekki sérstaklega fyrir notkun þeirra umfram þann tíma sem þeir leggja til grunnþjálfunarlykkjunnar. Undantekningin á þessu er fyrir matslíkön, þar sem við teljum einnig tókana sem þessir matsaðilar nota við ofangreindar aðgerðir. Þessir tókar birtast sem sérstakur liður á reikningnum þínum. Tókar sem matslíkön nota eru reikningsfærðir á venjulegu ályktunarverði (verðskrá OpenAI).

Það sem við rukkum EKKI fyrir

Við rukkum ekki fyrir tíma sem fer í:

• Að sannreyna eða skoða gagnasafnið þitt áður en þjálfun hefst.

• Öryggisathuganir á gagnasafninu þínu.

• Að bíða í biðröð eftir reikniauðlindum.

• Að hlaða niður vægisstuðlum líkans eða gagnasöfnum.

• Að undirbúa (rendera) gagnasafnið þitt á þjálfunarsnið okkar.

• Öryggismat eftir þjálfun á fínstillta líkaninu þínu.

Ef þjálfunarvinna tapast vegna villu af okkar hálfu (til dæmis ef vinnsluþráður hrynur og þarf að bakka til fyrri vistpunkts) er ekki rukkað fyrir tapaðan reiknitíma eða dómara-tóka. Nánari upplýsingar um þetta eru í næsta kafla.

Varðveitt framvinda og gjaldtökuatburðir

Þjálfun samanstendur af mörgum litlum uppfærslum á líkaninu þínu. Við fylgjumst með hversu margar af þessum uppfærslum klárast með árangri. Gjöld byggjast á reiknitímanum og dómara-tókunum sem tengjast þessum uppfærslum sem heppnast.

Við innheimtum gjald þegar einn af eftirfarandi „gjaldtökuatburðum“ á sér stað:

• Þjálfun lýkur með árangri.

• Þú setur þjálfun á hlé.

• Þú hættir við þjálfun.

• Þjálfun mistekst.

Hvert gjald nær yfir þá viðbótarvinnu sem unnin hefur verið frá síðasta gjaldi. Til dæmis:

• Ef þú setur keyrslu á hlé vistum við vistpunkt og rukkum þig fyrir reiknitímann og dómara-tókana sem voru notaðir frá síðasta gjaldi.

• Þegar þú heldur áfram heldur þjálfun áfram frá vistpunktinum. Næsta gjald (við lok, annað hlé, afbókun eða bilun) nær aðeins yfir viðbótarvinnuna sem unnin er eftir endurræsingu.

• Ef þú hættir við keyrslu rukkum við þig fyrir vinnuna sem var unnin fram að afbókun.

• Ef þjálfun mistekst og vinna frá síðasta gjaldi tapast, ertu ekki rukkaður fyrir tapaða hlutann.

Þessi nálgun með „varðveittri framvindu“ tryggir að þú borgir aðeins fyrir vinnu sem varðveitist í líkaninu þínu eða sem þú ákveður sjálfur að yfirgefa.

Skoða framvindu verks

RFT-verk hafa reit sem heitir usage_metrics og skráir heildarnotkun verksins fram að núverandi skrefi. Þetta felur í sér tímann sem fór í þjálfun og alla tóka sem notaðir voru í öllum matslíkönum verksins. Hægt er að skoða þennan reit í gegnum API (GET /v1/fine_tuning/jobs/{job_id}) eða á stjórnborði fyrir fínstillingu.

Þættir sem hafa áhrif á þjálfunartíma

Þar sem gjaldtaka byggist á tíma hafa stillingar þínar bein áhrif á kostnað. Helstu þættir eru:

• Erfiðleikastig verkefnis: ef gagnasafnið þitt samanstendur af erfiðum verkefnum mun líkanið líklega verja meiri tíma í rök fyrir hvert verkefni, sem eykur tímann sem tekur að búa til hvert sýni.

• Reikniálag: Yfirsstikan compute_multiplier stjórnar því hversu mikinn útreikning þú framkvæmir í hverju þjálfunarskrefi. Hærri gildi hvetja líkanið til að rökstyðja ítarlegar yfir hvert gagnastak, sem veldur því að hvert skref keyrir hægar.

• Stillingar sannprófunar:

  • Stærra sannprófunarsafn eykur tímann sem fer í mat.

  • Að hækka eval_samples (fjölda líkanaúttaka sem eru metnar fyrir hvert sannprófunardæmi) eykur sannprófunartíma.

  • Að keyra sannprófun oftar (lægra eval_interval) eykur hlutfall tímans sem fer í sannprófun.

• Afköst dómara:

  • Stærri eða öflugri líkanadómarar taka lengri tíma að skila mati en smærri. Til dæmis getur mat með rakalíkani tekið 10x lengri tíma en mat með líkani án raka.

  • Flóknar Python-matsaðgerðir taka lengri tíma í keyrslu en einfaldar.

Þessar stillingar gera þér kleift að vega saman kostnað, hraða og gæði líkans. Til dæmis getur tíð sannprófun greint vandamál fyrr en hún eykur kostnað. Mat með þróaðra líkani getur stórbætt nákvæmni mats, en hægir á hverju matskrefi og gerir verk dýrari.

Stýring kostnaðar

Til að hafa stjórn á útgjöldum:

• Byrjaðu á styttri keyrslum til að skilja hvernig stillingar þínar hafa áhrif á tíma.

• Notaðu hæfilegan fjölda sannprófunardæma og eval_samples. Forðastu að sannprófa oftar en þörf er á.

• Veldu minnsta dómaralíkan sem uppfyllir gæðakröfur þínar.

• Hafðu sérsniðna Python-dómara hagkvæma.

• Stilltu compute_multiplier til að jafna saman samleitnihraða og kostnað.

• Fylgstu með keyrslunni þinni á mælaborðinu eða í gegnum API. Þú getur sett á hlé eða hætt við hvenær sem er.

Dæmi

Vel heppnuð þjálfunarkeyrsla

Í þessu tilviki er heildartíminn 6 klukkustundir, en aðeins 4 klukkustundir eru reikningsfærðar. Kostnaðurinn væri 4 klst. × $100/klst. = $400.

Dæmi um misheppnað verk

Í þessu dæmi þjálfar keyrslan í 2 klukkustundir, skrifar varðpunkt, þjálfar í 1 klukkustund til viðbótar en mistekst svo. Aðeins 2 klukkustundirnar af þjálfun fram að varðpunktinum eru reikningsfærðar.

Þótt samtals 3 klukkustundir hafi farið í þjálfun eru aðeins 2 klukkustundir „fangaðar“ í nothæfum varðpunkti og reikningsfærðar. Þú berð ekki ábyrgð á þjálfunarvinnunni sem tapaðist vegna bilunarinnar. Kostnaðurinn væri 2 klst. × $100/klst. = $200.

Algengar spurningar

Hvenær er rukkað?

Við reikningsfærum þegar keyrslan lýkur, er sett í bið, er aflýst eða mistekst. Hver reikningur nær yfir vinnu sem hefur farið fram frá fyrri reikningi.

Borga ég ef keyrsla mistekst?

Ef keyrsla mistekst vegna villu hjá okkur og nýleg þjálfunarvinna tapast, er ekki rukkað fyrir tapaða hlutann. Ef þú hættir við keyrslu er rukkað fyrir vinnuna fram að afturkölluninni.

Hvernig er rukkað fyrir tóka matslíkana?

Við teljum tókana sem öll matslíkön sem þú stillir nota. Þegar þjálfun lýkur rukkuðum við fyrir þessa tóka á stöðluðu verði okkar fyrir hvern tóka.

Get ég sett keyrslu í bið og haldið henni áfram?

Já. Þegar þú setur í bið vistum við varðpunkt og rukkuðum fyrir vinnuna sem þegar er unnin. Þegar þú heldur áfram verður aðeins rukkað fyrir viðbótarvinnu sem fer fram eftir að haldið er áfram.

Ef þú hefur aðrar spurningar um reikningagerð vegna styrkingarfínstillingar, hafðu samband við þjónustuteymið okkar.