Yleiskatsaus

Esittelyssä kaksi avoimien painokertoimien päättelymallia: gpt‑oss‑120b ja gpt‑oss‑20b. Ne toimivat hallitsemassasi infrastruktuurissa tai hosting-palveluntarjoajien kautta.

Miksi avoimet painokertoimet

• Valinnanvapaus ja hallinta: Aja malleja omissa tiloissasi tai yksityisessä pilvessäsi, varmista tietojen sijaintipaikka ja räätälöi suorituskyky tarpeisiisi.

• Mukauttaminen: Hienosäädä tai mukauta malleja valitsemillasi avoimilla työkaluilla.

Saatavuus ja lisensointi

• Lisenssi: Apache 2.0 sallii laajan käytön, muokkauksen ja uudelleenjakelun, mukaan lukien kaupallisen käytön (gpt-ossin käyttökäytäntömme mukaisesti).

• Tarjoaminen: Ei saatavilla OpenAI API:n kautta, joten API-hinnoittelu ja pyyntörajat eivät päde.

• Yhteensopivuus: Voidaan ajaa yleisillä avoimilla inferenssipinoilla, kuten vLLM, Ollama ja llama.cpp, sekä pilvi- tai itse hallinnoiduissa GPU-ympäristöissä.

Aloittaminen

Saat mallin painokertoimet ja tukiresurssit seuraavasti:

• Katso yleiskatsaus ja suorat linkit gpt-oss-verkkosivustolta.

• Lataa painokertoimet Hugging Face -kokoelmasta — yhteisökeskuksesta, josta löydät molemmat mallit, näet käyttöesimerkkejä ja voit halutessasi suorittaa inferenssiä suoraan Hugging Facen palveluiden kautta.

• Referenssi-inferenssikoodin löydät GitHub-repositorystamme.

• Käytä OpenAI Cookbookin oppaita käyttöönottoon tuetuissa ajoympäristöissä, kuten Ollama, vLLM ja Transformers. Cookbook sisältää myös vaiheittaiset ohjeet paikalliseen suorittamiseen, yleisten ajoympäristöjen käyttöön ja—jos tuettu—gpt‑oss-mallien hienosäätöön.

gpt‑oss‑safeguard (tutkimusesiversio)

gpt‑oss‑safeguard on kaksi avoimien painokertoimien turvallisuuspäättelymallia, jotka perustuvat gpt‑ossiin. Ne on suunniteltu käytäntöihin perustuvaan turvallisuusluokitteluun ja liittyviin luottamus- ja turvallisuustehtäviin, joita suoritat hallitsemassasi infrastruktuurissa. Kuten muitakaan gpt‑oss-malleja, näitä painokertoimia ei tarjota OpenAI API:n tai ChatGPT:n kautta.

• Vain tekstiä käsittelevät mallit, joissa on strukturoidun tuotoksen viiteskeemat (esim. käytäntöpäätelmä, perustelu).

• Käytä omaa käytäntöäsi: malli tulkitsee kirjallisen käytäntösi, jotta se voi yleistää eri tuotteisiin vähäisellä suunnittelutyöllä.

• Perustellut päätökset: valinnaiset päättelyjäljet virheenkorjauksen ja auditointien tueksi (tarkoitettu kehittäjille ja turvallisuusasiantuntijoille, ei loppukäyttäjille näytettäväksi).

• Säädettävä päättelyn laajuus: valitse matala / keskitaso / korkea tasapainottaaksesi viivettä ja syvyyttä.

• Lisenssi: Apache 2.0 (katso alta Saatavuus ja lisensointi).

gpt‑oss‑safeguard sopii hyvin suurten kielimallien syötteiden ja tuotosten suodatukseen, verkkosisällön merkitsemiseen sekä offline-erämerkintöihin tai tarkistustyönkulkuihin. Yleisiin sovelluksiin (chat, agentit jne.) suosittelemme gpt‑oss-ydinmalleja.

Voit mukauttaa skeeman tarpeisiisi. Katso OpenAI Cookbookista oppaita kehotteiden laatimiseen ja esimerkkejä.

Mallivariantit ja mitoitus

Molemmat mallit on hienosäädetty gpt‑ossista ilman arkkitehtuurimuutoksia. Ne käyttävät samaa keskustelumallipohjaa kuin gpt‑oss; voit säilyttää nykyiset asetuksesi. Suositeltu kehotemalli on sijoittaa käytäntösi kehittäjäviestiin ja arvioitava sisältö käyttäjäviestiin.

Tuki ja yhteisö

Avoimien painokertoimien käyttöönottoja hallinnoidaan ja ylläpidetään itse. Tukea saat täältä:

• Kysymykset, keskustelu, vinkit: Osallistu yhteisön toimintaan Hugging Facen mallisivuilla.

• Toistettavat virheet OpenAI:n referenssi-inferenssikoodissa: Avaa issue gpt-ossin GitHub-repositoriossa.

• Kolmannen osapuolen ajoympäristöön liittyvät ongelmat (esim. vLLM, Ollama, llama.cpp): Käytä kyseisen projektin issue-seurantaa, foorumeita tai tukiprosessia.

OpenAI ei tarjoa apua, käytännön toteutusta tai virheenkorjaustukea itse hostatuille tai kolmannen osapuolen hostaamille avoimien painokertoimien kokoonpanoille, määrityksille, ympäristöille tai sovelluksille.

Jatkamme iterointia yhteisön kanssa parantaaksemme avoimia turvallisuustyökaluja, myös ROOST Model Communityn (RMC) kautta. RMC kokoaa yhteen turvallisuusasiantuntijoita ja tutkijoita jakamaan parhaita käytäntöjä avoimen lähdekoodin tekoälymallien käyttöönotosta turvallisuustyönkuluissa, mukaan lukien arviointitulokset ja mallipalaute. Lue lisää tästä kumppanuudesta ja osallistumistavoista RMC:n GitHub-repositoriosta.

Tuki ja yhteisö

Avoimien painokertoimien käyttöönottoja hallinnoidaan ja ylläpidetään itse. Tukea saat täältä:

• Kysymykset, keskustelu, vinkit: Osallistu yhteisön toimintaan Hugging Facen mallisivuilla.

• Toistettavat virheet OpenAI:n referenssi-inferenssikoodissa: Avaa issue gpt-ossin GitHub-repositoriossa.

• Kolmannen osapuolen ajoympäristöön liittyvät ongelmat (esim. vLLM, Ollama, llama.cpp): Käytä kyseisen projektin issue-seurantaa, foorumeita tai tukiprosessia.

OpenAI ei tarjoa apua, käytännön toteutusta tai virheenkorjaustukea itse hostatuille tai kolmannen osapuolen hostaamille avoimien painokertoimien kokoonpanoille, määrityksille, ympäristöille tai sovelluksille.

Tietosuoja ja turvallisuus

Tietosuoja ja data

Nämä mallit on suunniteltu toimimaan hallitsemassasi infrastruktuurissa (omissa tiloissasi, pilvessäsi tai hosting-kumppanillasi). OpenAI ei vastaanota eikä käsittele dataa, jota lähetät näille itse hostatuille malleille, ellet nimenomaisesti jaa sitä OpenAI:n kanssa tai käytä jotakin hallinnoiduista hosting-kumppaneistamme.

Turvallisuus

Näille malleille tehtiin laaja turvallisuuskoulutus ja testaus. Lisätietoja on mallikortissamme ja teknisessä raportissamme.

Sisältörikkomuksista ilmoittaminen

Jos uskot, että gpt‑oss-malleilla luotu sisältö rikkoo käytäntöjämme, voit ilmoittaa siitä Ilmoita sisällöstä -lomakkeellamme. Anna mahdollisimman paljon tietoja, jotta tiimimme voi käsitellä ilmoituksesi.

Usein kysytyt kysymykset

Ovatko nämä mallit ilmaisia?

gpt-oss-mallin painot ovat ladattavissa ja käytettävissä maksutta Apache 2.0 -lisenssin ja gpt-ossin käyttökäytännön mukaisesti. Olet kuitenkin vastuussa kaikista niiden ajamiseen liittyvistä kustannuksista — kuten laskenta-, tallennus- tai kolmannen osapuolen isännöintimaksuista. Niiden hinnoittelu riippuu valitsemastasi infrastruktuurista tai palveluntarjoajasta.

Ovatko nämä mallit ”avointa lähdekoodia”?

Käytämme termejä avoimet mallit tai avoimet painokertoimet ilmaisemaan, että koulutetut painokertoimet ovat julkisesti saatavilla sallivan Apache 2.0 -lisenssin ja gpt-ossin käyttökäytännön alaisina. Tämä tarkoittaa, että voit ladata mallit, ajaa niitä omassa infrastruktuurissasi tai tuetuilla hosting-kehyksillä sekä mukauttaa tai hienosäätää niitä.

Avoimet mallit antavat kehittäjille ja organisaatioille enemmän hallintaa ja joustavuutta. Voit valita, missä hostaat, mukauttaa malleja tiettyihin käyttötapauksiin ja hyötyä lisensoinnista, joka sallii laajan käytön, muokkauksen ja uudelleenjakelun. Vaikka koulutetut painokertoimet ovat avoimia, osa ympäröivästä infrastruktuurista tai työkaluista voi jäädä palveluntarjoajien omistukseen.

Voinko käyttää näitä malleja OpenAI API:n tai ChatGPT:n kautta?

Et. Näitä malleja ei tarjota OpenAI API:ssa, eivätkä ne näy ChatGPT:ssä.

Voinko hienosäätää malleja?

Kyllä. Voit tehdä hienosäätöä avoimen lähdekoodin työkaluilla ja valitsemassasi infrastruktuurissa. Emme tarjoa näille malleille hienosäätöä OpenAI API:en kautta.

Ovatko avoimien painokertoimien mallit halvempia kuin API:n käyttö?

Kustannukset vaihtelevat infrastruktuurin, työkuorman ja operatiivisen lähestymistavan mukaan. Itsehostaus voi joissakin tapauksissa olla halvempaa, kun taas API Platform -alustamme voi olla tehokkaampi, kun hosting, ylläpito ja päivitykset otetaan huomioon.

Mitä ominaisuuksia nämä mallit tukevat?

Nämä mallit ovat tällä hetkellä vain tekstiä käsitteleviä päättelymalleja. Yleiset ajoympäristöt tukevat suoratoistoa, toimintojen kutsumista ja strukturoituja tuotoksia. Tarkista tarkat ominaisuudet ajoympäristösi dokumentaatiosta.

Miten tämä eroaa ModAPI:sta?

Tämä on erittäin kyvykäs päättelymalli, jonka avulla voit käyttää omaa käytäntöäsi. Se voi toimia yhdessä ModAPI:n kanssa, mutta ei todennäköisesti korvaa sitä pienen viiveen käyttötapauksissa.