Apžvalga

Pristatome du atvirųjų svorių protavimo modelius: gpt‑oss‑120b ir gpt‑oss‑20b. Jie veikia jūsų valdomoje infrastruktūroje arba per prieglobos teikėjus.

Kodėl atvirieji svoriai

• Pasirinkimas ir kontrolė: vykdykite modelius vietoje arba savo privačiame debesyje, išlaikykite duomenų saugojimo vietą ir pritaikykite našumą savo poreikiams.

• Tinkinimas: papildomai pritaikykite arba adaptuokite modelius naudodami pasirinktus atviruosius įrankius.

Prieinamumas ir licencijavimas

• Licencija: Apache 2.0 leidžia platų naudojimą, keitimą ir platinimą, įskaitant komercinį naudojimą (laikantis mūsų gpt-oss naudojimo politikos).

• Teikimas: neprieinama per OpenAI API, todėl API kainodara ir užklausų dažnio ribojimai netaikomi.

• Suderinamumas: galima vykdyti naudojant įprastus atviros inferencijos rinkinius, pvz., vLLM, Ollama, llama.cpp, ir debesijos arba savarankiškai valdomose GPU aplinkose.

Darbo pradžia

Modelio svorius ir papildomus išteklius galite gauti šiais būdais:

• Apsilankykite gpt-oss svetainėje, kur rasite apžvalgą ir tiesiogines nuorodas.

• Atsisiųskite svorius iš „Hugging Face“ kolekcijos – bendruomenės platformos, kurioje rasite abu modelius, naudojimo pavyzdžių ir galėsite pasirinktinai vykdyti išvedimą tiesiogiai naudodamiesi „Hugging Face“ paslaugomis.

• Mūsų „GitHub“ saugykloje rasite pavyzdinį išvedimo kodą.

• Norėdami sukonfigūruoti palaikomas vykdymo aplinkas, tokias kaip „Ollama“, „vLLM“ ir „Transformers“, naudokitės „OpenAI Recipes“ vadovais. Skiltyje „Recipes“ taip pat pateikiamos nuoseklios instrukcijos, kaip vykdyti modelius vietiniame įrenginyje, naudoti įprastas vykdymo aplinkas ir, jei palaikoma, papildomai mokyti gpt-oss modelius.

gpt‑oss‑safeguard (bandomoji tyrimų versija)

gpt‑oss‑safeguard – tai gpt‑oss pagrindu sukurta atvirų svorių saugos protavimo modelių pora. Jie skirti taisyklėmis grindžiamam saugos klasifikavimui ir susijusioms patikimumo bei saugos užduotims, kurias vykdote savo valdomoje infrastruktūroje. Kaip ir kitų gpt‑oss modelių, jų svoriai nepasiekiami per OpenAI API ar ChatGPT.

• Modeliai, apdorojantys tik tekstą, su pavyzdinėmis susistemintų išvesčių schemomis (pvz., taisyklių laikymosi vertinimu ir jo pagrindimu).

• Naudokite savo taisykles: modelis interpretuoja jūsų rašytines taisykles, todėl jį galima pritaikyti įvairiems produktams įdedant nedaug programavimo darbo.

• Pagrįsti sprendimai: pasirenkami protavimo eigos duomenys padeda derinti ir atlikti auditus (jie skirti kūrėjams bei saugos specialistams, o ne rodyti galutiniams naudotojams).

• Konfigūruojamos protavimo pastangos: rinkitės „Žemas“, „Vidutinis“ arba „Aukštas“, atsižvelgdami į delsos ir išsamumo santykį.

• Licencija: „Apache 2.0“ (žr. toliau pateiktą skiltį Prieinamumas ir licencijavimas).

gpt‑oss‑safeguard puikiai tinka LLM įvesčiai ir išvesčiai filtruoti, internetiniam turiniui žymėti, taip pat paketinio žymėjimo ar peržiūros darbo eigoms neprisijungus. Bendrosios paskirties programoms (pokalbiams, agentams ir kt.) rekomenduojame pagrindinius gpt‑oss modelius.

Schemą galite pritaikyti savo poreikiams. Užklausų kūrimo gairių ir pavyzdžių rasite OpenAI Cookbook.

Modelių variantai ir dydžiai

Abu modeliai tiksliai suderinti iš gpt‑oss, nekeičiant architektūros. Jie naudoja tą patį pokalbio šabloną kaip gpt‑oss; galite išlaikyti esamą sąranką. Rekomenduojamas užklausos pateikimo modelis – politiką įdėti į kūrėjo pranešimą, o vertintiną turinį – į naudotojo pranešimą.

Palaikymas ir bendruomenė

Atvirųjų svorių diegimus valdote ir aptarnaujate patys. Štai kur galite gauti pagalbos:

• Klausimai, diskusijos, patarimai: naudokite Hugging Face modelių puslapius, kad bendrautumėte su bendruomene.

• Atkuriamos klaidos OpenAI pavyzdiniame inferencijos kode: sukurkite problemos įrašą gpt-oss GitHub saugykloje.

• Problemos su trečiosios šalies vykdymo aplinka (pvz., vLLM, Ollama, llama.cpp): naudokite atitinkamo projekto problemų sekiklį, forumus arba palaikymo procesą.

OpenAI neteikia pagalbos, praktinio įgyvendinimo ar derinimo palaikymo jokioms savarankiškai priglobtoms ar trečiųjų šalių priglobtoms atvirųjų svorių sąrankoms, konfigūracijoms, aplinkoms ar programoms.

Toliau bendradarbiausime su bendruomene, kad gerintume atviruosius saugos įrankius, įskaitant ROOST Model Community (RMC). RMC suburia saugos specialistus ir tyrėjus dalytis geriausia praktika, kaip diegti atvirojo kodo AI modelius į saugos darbo eigas, įskaitant vertinimo rezultatus ir modelių grįžtamąjį ryšį. Apsilankykite RMC GitHub saugykloje, kad sužinotumėte daugiau apie šią partnerystę ir kaip prisijungti.

Palaikymas ir bendruomenė

Atvirųjų svorių diegimus valdote ir aptarnaujate patys. Štai kur galite gauti pagalbos:

• Klausimai, diskusijos, patarimai: naudokite Hugging Face modelių puslapius, kad bendrautumėte su bendruomene.

• Atkuriamos klaidos OpenAI pavyzdiniame inferencijos kode: sukurkite problemos įrašą gpt-oss GitHub saugykloje.

• Problemos su trečiosios šalies vykdymo aplinka (pvz., vLLM, Ollama, llama.cpp): naudokite atitinkamo projekto problemų sekiklį, forumus arba palaikymo procesą.

OpenAI neteikia pagalbos, praktinio įgyvendinimo ar derinimo palaikymo jokioms savarankiškai priglobtoms ar trečiųjų šalių priglobtoms atvirųjų svorių sąrankoms, konfigūracijoms, aplinkoms ar programoms.

Privatumas ir sauga

Privatumas ir duomenys

Šie modeliai sukurti veikti jūsų valdomoje infrastruktūroje (vietoje, jūsų debesijoje arba pas prieglobos partnerį). OpenAI negauna ir netvarko duomenų, kuriuos siunčiate šiems savarankiškai priglobtiems modeliams, nebent aiškiai jais pasidalijate su OpenAI arba naudojate vieną iš mūsų valdomos prieglobos partnerių.

Sauga

Šiems modeliams buvo atliktas išsamus saugos mokymas ir testavimas. Daugiau informacijos rasite mūsų modelio kortelėje ir techninėje ataskaitoje.

Pranešimas apie turinio pažeidimus

Jei manote, kad turinys, sugeneruotas naudojant gpt‑oss modelius, pažeidžia mūsų politiką, galite apie tai pranešti per mūsų Pranešimo apie turinį formą. Pateikite kuo daugiau informacijos, kad padėtumėte mūsų komandai peržiūrėti jūsų pranešimą.

DUK

Ar šie modeliai nemokami?

gpt-oss modelių svorius galima nemokamai atsisiųsti ir naudoti pagal Apache 2.0 licenciją ir gpt-oss naudojimo politiką. Tačiau jūs atsakote už visas su jų paleidimu susijusias išlaidas, pvz., skaičiavimo, saugyklos ar trečiųjų šalių prieglobos mokesčius. Jų kainodara priklausys nuo jūsų pasirinktos infrastruktūros arba teikėjo.

Ar šie modeliai yra „atvirojo kodo“?

Vartojame terminą atvirieji modeliai arba atvirųjų svorių norėdami nurodyti, kad apmokyti svoriai yra viešai prieinami pagal leidžiamąją Apache 2.0 licenciją ir gpt-oss naudojimo politiką. Tai reiškia, kad galite atsisiųsti modelius, vykdyti juos savo infrastruktūroje arba naudodami palaikomas prieglobos sistemas ir juos tinkinti ar papildomai pritaikyti.

Atvirieji modeliai suteikia kūrėjams ir organizacijoms daugiau kontrolės ir lankstumo. Galite pasirinkti, kur teikti prieglobą, pritaikyti modelius konkretiems naudojimo atvejams ir pasinaudoti licencijavimu, leidžiančiu platų naudojimą, keitimą ir platinimą. Nors apmokyti svoriai yra atviri, dalis susijusios infrastruktūros ar įrankių gali likti nuosavybiniai jų teikėjams.

Ar galiu pasiekti šiuos modelius per OpenAI API arba ChatGPT?

Ne. Šie modeliai neteikiami OpenAI API ir nerodomi ChatGPT.

Ar galiu papildomai pritaikyti modelius?

Taip. Papildomai pritaikyti galite naudodami atvirojo kodo įrankius ir pasirinktą infrastruktūrą. Šiems modeliams papildomo pritaikymo per OpenAI API nesiūlome.

Ar atvirųjų svorių modeliai pigesni nei API naudojimas?

Išlaidos priklauso nuo infrastruktūros, darbo krūvio ir veiklos organizavimo būdo. Kai kuriais atvejais savarankiška priegloba gali būti pigesnė, o mūsų API Platform gali būti efektyvesnė, įvertinus prieglobą, priežiūrą ir atnaujinimus.

Kokias funkcijas palaiko šie modeliai?

Šiuo metu šie modeliai yra tik tekstiniai protavimo modeliai. Įprastos vykdymo aplinkos palaiko srautinį perdavimą, funkcijų kvietimą ir susistemintas išvestis. Tikslias galimybes rasite savo vykdymo aplinkos dokumentacijoje.

Kuo tai skiriasi nuo ModAPI?

Tai labai pajėgus protavimo modelis, leidžiantis naudoti savo politiką. Jis gali veikti kartu su ModAPI, bet tikriausiai nepakeis jo mažos delsos naudojimo atvejais.