Yleiskatsaus

Esittelyssä kaksi avoimien painokertoimien päättelymallia: gpt‑oss‑120b ja gpt‑oss‑20b. Ne toimivat hallitsemassasi infrastruktuurissa tai hosting-palveluntarjoajien kautta.

Miksi avoimet painokertoimet

• Valinnanvapaus ja hallinta: Aja malleja omissa tiloissasi tai yksityisessä pilvessäsi, varmista tietojen sijaintipaikka ja räätälöi suorituskyky tarpeisiisi.

• Mukauttaminen: Hienosäädä tai mukauta malleja valitsemillasi avoimilla työkaluilla.

Saatavuus ja lisensointi

• Lisenssi: Apache 2.0 sallii laajan käytön, muokkauksen ja uudelleenjakelun, mukaan lukien kaupallisen käytön (gpt-ossin käyttökäytäntömme mukaisesti).

• Tarjoaminen: Ei saatavilla OpenAI API:n kautta, joten API-hinnoittelu ja pyyntörajat eivät päde.

• Yhteensopivuus: Voidaan ajaa yleisillä avoimilla inferenssipinoilla, kuten vLLM, Ollama ja llama.cpp, sekä pilvi- tai itse hallinnoiduissa GPU-ympäristöissä.

Aloittaminen

Voit hankkia mallien painot ja niitä tukevat resurssit seuraavasti:

• Tutustu gpt-oss-sivustoon, josta löydät yleiskatsauksen ja suorat linkit.

• Lataa painot Hugging Face -kokoelmasta. Tästä yhteisökeskuksesta löydät molemmat mallit ja käyttöesimerkkejä sekä voit halutessasi suorittaa inferenssin suoraan Hugging Facen palveluissa.

• Inferenssin viitekoodi on saatavilla GitHub-repositoriossamme.

• OpenAI Recipes -oppaissa kerrotaan, miten käyttöönotto tehdään tuetuissa suoritusympäristöissä, kuten Ollamassa, vLLM:ssä ja Transformersissa. Recipes-oppaat sisältävät myös vaiheittaiset ohjeet paikalliseen suorittamiseen, yleisten suoritusympäristöjen käyttöön ja tuetuissa tapauksissa gpt-oss-mallien hienosäätöön.

gpt‑oss‑safeguard (tutkimusversio)

gpt‑oss‑safeguard koostuu kahdesta gpt‑ossiin perustuvasta avoimien painojen turvallisuuspäättelymallista. Ne on suunniteltu käytäntöihin perustuvaan turvallisuusluokitteluun ja muihin luottamus- ja turvallisuustehtäviin, joita suoritat hallitsemassasi infrastruktuurissa. Muiden gpt‑oss-mallien tavoin näitä painoja ei tarjota OpenAI APIn tai ChatGPT:n kautta.

• Vain tekstiä käsittelevät mallit, joissa on strukturoiduille tuotoksille tarkoitetut viiteskeemat (esim. käytäntöä koskeva päätös ja perustelut).

• Käytä omaa käytäntöäsi: malli tulkitsee kirjallisen käytäntösi ja pystyy siksi soveltamaan sitä eri tuotteisiin vähäisellä kehitystyöllä.

• Perustellut päätökset: valinnaiset päättelyjäljet helpottavat virheenkorjausta ja auditointeja (tarkoitettu kehittäjille ja turvallisuusasiantuntijoille, ei näytettäväksi loppukäyttäjille).

• Säädettävä päättelytaso: valitse Matala, Keskitaso tai Korkea tasapainottaaksesi viivettä ja perusteellisuutta.

• Lisenssi: Apache 2.0 (katso alta Saatavuus ja lisensointi).

gpt‑oss‑safeguard soveltuu hyvin LLM-mallien syötteiden ja tuotosten suodattamiseen, verkkosisällön merkitsemiseen sekä eräajoina tehtävään offline-merkintään tai tarkistustyönkulkuihin. Yleisiin sovelluksiin, kuten chatteihin ja agentteihin, suosittelemme gpt‑oss-perusmalleja.

Voit mukauttaa skeemaa tarpeisiisi. Tutustu kehotteiden laatimisohjeisiin ja esimerkkeihin OpenAI Cookbookissa.

Mallivariantit ja mitoitus

Molemmat mallit on hienosäädetty gpt‑ossista ilman arkkitehtuurimuutoksia. Ne käyttävät samaa keskustelumallipohjaa kuin gpt‑oss; voit säilyttää nykyiset asetuksesi. Suositeltu kehotemalli on sijoittaa käytäntösi kehittäjäviestiin ja arvioitava sisältö käyttäjäviestiin.

Tuki ja yhteisö

Avoimien painokertoimien käyttöönottoja hallinnoidaan ja ylläpidetään itse. Tukea saat täältä:

• Kysymykset, keskustelu, vinkit: Osallistu yhteisön toimintaan Hugging Facen mallisivuilla.

• Toistettavat virheet OpenAI:n referenssi-inferenssikoodissa: Avaa issue gpt-ossin GitHub-repositoriossa.

• Kolmannen osapuolen ajoympäristöön liittyvät ongelmat (esim. vLLM, Ollama, llama.cpp): Käytä kyseisen projektin issue-seurantaa, foorumeita tai tukiprosessia.

OpenAI ei tarjoa apua, käytännön toteutusta tai virheenkorjaustukea itse hostatuille tai kolmannen osapuolen hostaamille avoimien painokertoimien kokoonpanoille, määrityksille, ympäristöille tai sovelluksille.

Jatkamme iterointia yhteisön kanssa parantaaksemme avoimia turvallisuustyökaluja, myös ROOST Model Communityn (RMC) kautta. RMC kokoaa yhteen turvallisuusasiantuntijoita ja tutkijoita jakamaan parhaita käytäntöjä avoimen lähdekoodin tekoälymallien käyttöönotosta turvallisuustyönkuluissa, mukaan lukien arviointitulokset ja mallipalaute. Lue lisää tästä kumppanuudesta ja osallistumistavoista RMC:n GitHub-repositoriosta.

Tuki ja yhteisö

Avoimien painokertoimien käyttöönottoja hallinnoidaan ja ylläpidetään itse. Tukea saat täältä:

• Kysymykset, keskustelu, vinkit: Osallistu yhteisön toimintaan Hugging Facen mallisivuilla.

• Toistettavat virheet OpenAI:n referenssi-inferenssikoodissa: Avaa issue gpt-ossin GitHub-repositoriossa.

• Kolmannen osapuolen ajoympäristöön liittyvät ongelmat (esim. vLLM, Ollama, llama.cpp): Käytä kyseisen projektin issue-seurantaa, foorumeita tai tukiprosessia.

OpenAI ei tarjoa apua, käytännön toteutusta tai virheenkorjaustukea itse hostatuille tai kolmannen osapuolen hostaamille avoimien painokertoimien kokoonpanoille, määrityksille, ympäristöille tai sovelluksille.

Tietosuoja ja turvallisuus

Tietosuoja ja data

Nämä mallit on suunniteltu toimimaan hallitsemassasi infrastruktuurissa (omissa tiloissasi, pilvessäsi tai hosting-kumppanillasi). OpenAI ei vastaanota eikä käsittele dataa, jota lähetät näille itse hostatuille malleille, ellet nimenomaisesti jaa sitä OpenAI:n kanssa tai käytä jotakin hallinnoiduista hosting-kumppaneistamme.

Turvallisuus

Näille malleille tehtiin laaja turvallisuuskoulutus ja testaus. Lisätietoja on mallikortissamme ja teknisessä raportissamme.

Sisältörikkomuksista ilmoittaminen

Jos uskot, että gpt‑oss-malleilla luotu sisältö rikkoo käytäntöjämme, voit ilmoittaa siitä Ilmoita sisällöstä -lomakkeellamme. Anna mahdollisimman paljon tietoja, jotta tiimimme voi käsitellä ilmoituksesi.

Usein kysytyt kysymykset

Ovatko nämä mallit ilmaisia?

gpt-oss-mallin painot ovat ladattavissa ja käytettävissä maksutta Apache 2.0 -lisenssin ja gpt-ossin käyttökäytännön mukaisesti. Olet kuitenkin vastuussa kaikista niiden ajamiseen liittyvistä kustannuksista — kuten laskenta-, tallennus- tai kolmannen osapuolen isännöintimaksuista. Niiden hinnoittelu riippuu valitsemastasi infrastruktuurista tai palveluntarjoajasta.

Ovatko nämä mallit ”avointa lähdekoodia”?

Käytämme termejä avoimet mallit tai avoimet painokertoimet ilmaisemaan, että koulutetut painokertoimet ovat julkisesti saatavilla sallivan Apache 2.0 -lisenssin ja gpt-ossin käyttökäytännön alaisina. Tämä tarkoittaa, että voit ladata mallit, ajaa niitä omassa infrastruktuurissasi tai tuetuilla hosting-kehyksillä sekä mukauttaa tai hienosäätää niitä.

Avoimet mallit antavat kehittäjille ja organisaatioille enemmän hallintaa ja joustavuutta. Voit valita, missä hostaat, mukauttaa malleja tiettyihin käyttötapauksiin ja hyötyä lisensoinnista, joka sallii laajan käytön, muokkauksen ja uudelleenjakelun. Vaikka koulutetut painokertoimet ovat avoimia, osa ympäröivästä infrastruktuurista tai työkaluista voi jäädä palveluntarjoajien omistukseen.

Voinko käyttää näitä malleja OpenAI API:n tai ChatGPT:n kautta?

Et. Näitä malleja ei tarjota OpenAI API:ssa, eivätkä ne näy ChatGPT:ssä.

Voinko hienosäätää malleja?

Kyllä. Voit tehdä hienosäätöä avoimen lähdekoodin työkaluilla ja valitsemassasi infrastruktuurissa. Emme tarjoa näille malleille hienosäätöä OpenAI API:en kautta.

Ovatko avoimien painokertoimien mallit halvempia kuin API:n käyttö?

Kustannukset vaihtelevat infrastruktuurin, työkuorman ja operatiivisen lähestymistavan mukaan. Itsehostaus voi joissakin tapauksissa olla halvempaa, kun taas API Platform -alustamme voi olla tehokkaampi, kun hosting, ylläpito ja päivitykset otetaan huomioon.

Mitä ominaisuuksia nämä mallit tukevat?

Nämä mallit ovat tällä hetkellä vain tekstiä käsitteleviä päättelymalleja. Yleiset ajoympäristöt tukevat suoratoistoa, toimintojen kutsumista ja strukturoituja tuotoksia. Tarkista tarkat ominaisuudet ajoympäristösi dokumentaatiosta.

Miten tämä eroaa ModAPI:sta?

Tämä on erittäin kyvykäs päättelymalli, jonka avulla voit käyttää omaa käytäntöäsi. Se voi toimia yhdessä ModAPI:n kanssa, mutta ei todennäköisesti korvaa sitä pienen viiveen käyttötapauksissa.