Apžvalga

Pristatome du atvirųjų svorių protavimo modelius: gpt‑oss‑120b ir gpt‑oss‑20b. Jie veikia jūsų valdomoje infrastruktūroje arba per prieglobos teikėjus.

Kodėl atvirieji svoriai

• Pasirinkimas ir kontrolė: vykdykite modelius vietoje arba savo privačiame debesyje, išlaikykite duomenų saugojimo vietą ir pritaikykite našumą savo poreikiams.

• Tinkinimas: papildomai pritaikykite arba adaptuokite modelius naudodami pasirinktus atviruosius įrankius.

Prieinamumas ir licencijavimas

• Licencija: Apache 2.0 leidžia platų naudojimą, keitimą ir platinimą, įskaitant komercinį naudojimą (laikantis mūsų gpt-oss naudojimo politikos).

• Teikimas: neprieinama per OpenAI API, todėl API kainodara ir užklausų dažnio ribojimai netaikomi.

• Suderinamumas: galima vykdyti naudojant įprastus atviros inferencijos rinkinius, pvz., vLLM, Ollama, llama.cpp, ir debesijos arba savarankiškai valdomose GPU aplinkose.

Darbo pradžia

Norėdami gauti modelio svorius ir pagalbinius išteklius, galite:

• Apsilankyti gpt-oss svetainėje, kur rasite apžvalgą ir tiesiogines nuorodas.

• Atsisiųsti svorius iš Hugging Face kolekcijos — bendruomenės centro, kuriame galite rasti abu modelius, peržiūrėti naudojimo pavyzdžius ir, jei norite, vykdyti inferenciją tiesiogiai per Hugging Face paslaugas.

• Pasiekti mūsų GitHub saugyklą, kurioje pateiktas pavyzdinis inferencijos kodas.

• Naudoti OpenAI Cookbook vadovus sąrankai su palaikomomis vykdymo aplinkomis, pvz., Ollama, vLLM ir Transformers. Cookbook taip pat pateikia nuoseklias instrukcijas, kaip vykdyti vietoje, naudoti įprastas vykdymo aplinkas ir, kai palaikoma, papildomai pritaikyti gpt‑oss modelius.

gpt‑oss‑safeguard (tyrimų peržiūra)

gpt‑oss‑safeguard yra pora atvirųjų svorių saugos protavimo modelių, sukurtų gpt‑oss pagrindu. Jie skirti politika grindžiamai saugos klasifikacijai ir susijusioms pasitikėjimo bei saugos užduotims, vykdomoms jūsų valdomoje infrastruktūroje. Kaip ir kiti gpt‑oss modeliai, šie svoriai neteikiami per OpenAI API ar ChatGPT.

• Tik tekstiniai modeliai su pavyzdinėmis susistemintų išvesčių schemomis (pvz., politikos sprendimas, pagrindimas).

• Naudokite savo politiką: modelis interpretuoja jūsų rašytinę politiką, kad galėtų apibendrinti skirtingiems produktams su minimaliomis inžinerinėmis pastangomis.

• Pagrįsti sprendimai: pasirenkami protavimo pėdsakai, padedantys derinti ir atlikti auditą (skirta kūrėjams ir saugos specialistams, o ne rodyti galutiniams naudotojams).

• Konfigūruojamos protavimo pastangos: rinkitės mažas / vidutines / dideles, kad subalansuotumėte delsą ir gylį.

• Licencija: Apache 2.0 (žr. Prieinamumas ir licencijavimas toliau).

gpt‑oss‑safeguard puikiai tinka LLM įvesties / išvesties filtravimui, internetinio turinio žymėjimui ir neprisijungtiniu režimu vykdomoms paketinio žymėjimo ar peržiūros darbo eigoms. Bendrosioms programoms (pokalbiams, agentams ir kt.) rekomenduojame pagrindinius gpt‑oss modelius.

Schemą galite pritaikyti savo poreikiams. Raginimo vadovų ir pavyzdžių ieškokite OpenAI Cookbook.

Modelių variantai ir dydžiai

Abu modeliai tiksliai suderinti iš gpt‑oss, nekeičiant architektūros. Jie naudoja tą patį pokalbio šabloną kaip gpt‑oss; galite išlaikyti esamą sąranką. Rekomenduojamas užklausos pateikimo modelis – politiką įdėti į kūrėjo pranešimą, o vertintiną turinį – į naudotojo pranešimą.

Palaikymas ir bendruomenė

Atvirųjų svorių diegimus valdote ir aptarnaujate patys. Štai kur galite gauti pagalbos:

• Klausimai, diskusijos, patarimai: naudokite Hugging Face modelių puslapius, kad bendrautumėte su bendruomene.

• Atkuriamos klaidos OpenAI pavyzdiniame inferencijos kode: sukurkite problemos įrašą gpt-oss GitHub saugykloje.

• Problemos su trečiosios šalies vykdymo aplinka (pvz., vLLM, Ollama, llama.cpp): naudokite atitinkamo projekto problemų sekiklį, forumus arba palaikymo procesą.

OpenAI neteikia pagalbos, praktinio įgyvendinimo ar derinimo palaikymo jokioms savarankiškai priglobtoms ar trečiųjų šalių priglobtoms atvirųjų svorių sąrankoms, konfigūracijoms, aplinkoms ar programoms.

Toliau bendradarbiausime su bendruomene, kad gerintume atviruosius saugos įrankius, įskaitant ROOST Model Community (RMC). RMC suburia saugos specialistus ir tyrėjus dalytis geriausia praktika, kaip diegti atvirojo kodo AI modelius į saugos darbo eigas, įskaitant vertinimo rezultatus ir modelių grįžtamąjį ryšį. Apsilankykite RMC GitHub saugykloje, kad sužinotumėte daugiau apie šią partnerystę ir kaip prisijungti.

Palaikymas ir bendruomenė

Atvirųjų svorių diegimus valdote ir aptarnaujate patys. Štai kur galite gauti pagalbos:

• Klausimai, diskusijos, patarimai: naudokite Hugging Face modelių puslapius, kad bendrautumėte su bendruomene.

• Atkuriamos klaidos OpenAI pavyzdiniame inferencijos kode: sukurkite problemos įrašą gpt-oss GitHub saugykloje.

• Problemos su trečiosios šalies vykdymo aplinka (pvz., vLLM, Ollama, llama.cpp): naudokite atitinkamo projekto problemų sekiklį, forumus arba palaikymo procesą.

OpenAI neteikia pagalbos, praktinio įgyvendinimo ar derinimo palaikymo jokioms savarankiškai priglobtoms ar trečiųjų šalių priglobtoms atvirųjų svorių sąrankoms, konfigūracijoms, aplinkoms ar programoms.

Privatumas ir sauga

Privatumas ir duomenys

Šie modeliai sukurti veikti jūsų valdomoje infrastruktūroje (vietoje, jūsų debesijoje arba pas prieglobos partnerį). OpenAI negauna ir netvarko duomenų, kuriuos siunčiate šiems savarankiškai priglobtiems modeliams, nebent aiškiai jais pasidalijate su OpenAI arba naudojate vieną iš mūsų valdomos prieglobos partnerių.

Sauga

Šiems modeliams buvo atliktas išsamus saugos mokymas ir testavimas. Daugiau informacijos rasite mūsų modelio kortelėje ir techninėje ataskaitoje.

Pranešimas apie turinio pažeidimus

Jei manote, kad turinys, sugeneruotas naudojant gpt‑oss modelius, pažeidžia mūsų politiką, galite apie tai pranešti per mūsų Pranešimo apie turinį formą. Pateikite kuo daugiau informacijos, kad padėtumėte mūsų komandai peržiūrėti jūsų pranešimą.

DUK

Ar šie modeliai nemokami?

gpt-oss modelių svorius galima nemokamai atsisiųsti ir naudoti pagal Apache 2.0 licenciją ir gpt-oss naudojimo politiką. Tačiau jūs atsakote už visas su jų paleidimu susijusias išlaidas, pvz., skaičiavimo, saugyklos ar trečiųjų šalių prieglobos mokesčius. Jų kainodara priklausys nuo jūsų pasirinktos infrastruktūros arba teikėjo.

Ar šie modeliai yra „atvirojo kodo“?

Vartojame terminą atvirieji modeliai arba atvirųjų svorių norėdami nurodyti, kad apmokyti svoriai yra viešai prieinami pagal leidžiamąją Apache 2.0 licenciją ir gpt-oss naudojimo politiką. Tai reiškia, kad galite atsisiųsti modelius, vykdyti juos savo infrastruktūroje arba naudodami palaikomas prieglobos sistemas ir juos tinkinti ar papildomai pritaikyti.

Atvirieji modeliai suteikia kūrėjams ir organizacijoms daugiau kontrolės ir lankstumo. Galite pasirinkti, kur teikti prieglobą, pritaikyti modelius konkretiems naudojimo atvejams ir pasinaudoti licencijavimu, leidžiančiu platų naudojimą, keitimą ir platinimą. Nors apmokyti svoriai yra atviri, dalis susijusios infrastruktūros ar įrankių gali likti nuosavybiniai jų teikėjams.

Ar galiu pasiekti šiuos modelius per OpenAI API arba ChatGPT?

Ne. Šie modeliai neteikiami OpenAI API ir nerodomi ChatGPT.

Ar galiu papildomai pritaikyti modelius?

Taip. Papildomai pritaikyti galite naudodami atvirojo kodo įrankius ir pasirinktą infrastruktūrą. Šiems modeliams papildomo pritaikymo per OpenAI API nesiūlome.

Ar atvirųjų svorių modeliai pigesni nei API naudojimas?

Išlaidos priklauso nuo infrastruktūros, darbo krūvio ir veiklos organizavimo būdo. Kai kuriais atvejais savarankiška priegloba gali būti pigesnė, o mūsų API Platform gali būti efektyvesnė, įvertinus prieglobą, priežiūrą ir atnaujinimus.

Kokias funkcijas palaiko šie modeliai?

Šiuo metu šie modeliai yra tik tekstiniai protavimo modeliai. Įprastos vykdymo aplinkos palaiko srautinį perdavimą, funkcijų kvietimą ir susistemintas išvestis. Tikslias galimybes rasite savo vykdymo aplinkos dokumentacijoje.

Kuo tai skiriasi nuo ModAPI?

Tai labai pajėgus protavimo modelis, leidžiantis naudoti savo politiką. Jis gali veikti kartu su ModAPI, bet tikriausiai nepakeis jo mažos delsos naudojimo atvejais.