Pregled

Predstavljamo dva modela sklepanja z odprtimi utežmi: gpt‑oss‑120b in gpt‑oss‑20b. Delujeta na infrastrukturi, ki jo nadzorujete, ali prek ponudnikov gostovanja.

Zakaj odprte uteži

• Izbira in nadzor: Zaženite modele lokalno ali v zasebnem oblaku, ohranite lokalno hrambo podatkov in prilagodite zmogljivost svojim potrebam.

• Prilagoditev: Fino uravnajte ali prilagodite modele z želenimi odprtimi orodji.

Razpoložljivost in licenciranje

• Licenca: Apache 2.0 omogoča široko uporabo, spreminjanje in ponovno distribucijo, vključno s komercialno uporabo (ob upoštevanju našega pravilnika uporabe gpt-oss).

• Streženje: Ni na voljo prek API-ja OpenAI, zato cene API-ja in omejitve hitrosti ne veljajo.

• Združljivost: Lahko se izvaja s pogostimi odprtimi skladi za sklepanje, kot so vLLM, Ollama in llama.cpp, ter v oblačnih ali samostojno upravljanih okoljih GPU.

Uvod

Uteži modela in podporne vire lahko pridobite tako:

• Za pregled in neposredne povezave obiščite spletno mesto gpt-oss.

• Uteži prenesite iz zbirke Hugging Face – skupnostnega središča, kjer najdete oba modela in primere uporabe, po želji pa lahko sklepanje izvedete neposredno prek storitev Hugging Face.

• Referenčna koda za sklepanje je na voljo v našem repozitoriju GitHub.

• Za nastavitev v podprtih izvajalnih okoljih, kot so Ollama, vLLM in Transformers, uporabite vodnike v zbirki Recepti OpenAI. Recepti vsebujejo tudi navodila po korakih za lokalno izvajanje, uporabo običajnih izvajalnih okolij in – kjer je podprto – dodatno učenje modelov gpt-oss.

gpt‑oss‑safeguard (raziskovalna predogledna različica)

gpt‑oss‑safeguard je par varnostnih modelov sklepanja z odprtimi utežmi, ki temeljita na gpt‑oss. Zasnovana sta za varnostno razvrščanje na podlagi pravilnikov in sorodna opravila na področju zaupanja in varnosti, ki jih izvajate v infrastrukturi pod svojim nadzorom. Tako kot pri drugih modelih gpt‑oss te uteži niso na voljo prek API-ja OpenAI ali storitve ChatGPT.

• Modeli samo za besedilo z referenčnimi shemami strukturiranih izhodov (npr. odločitev glede pravilnika, utemeljitev).

• Uporabite svoj pravilnik: model razume vaš pisni pravilnik, zato ga lahko z minimalnim razvojnim delom posploši na različne izdelke.

• Utemeljene odločitve: izbirne sledi sklepanja olajšajo odpravljanje napak in revizije (namenjene so razvijalcem in strokovnjakom za varnost, ne pa prikazu končnim uporabnikom).

• Nastavljiva zahtevnost sklepanja: izberite Nizko / Srednje / Visoko ter tako uravnotežite zakasnitev in globino.

• Licenca: Apache 2.0 (glejte razdelek Razpoložljivost in licenciranje spodaj).

gpt‑oss‑safeguard je primeren za filtriranje vhodov in izhodov velikih jezikovnih modelov, sprotno označevanje spletnih vsebin ter paketno označevanje brez povezave ali delovne postopke pregledovanja. Za splošne načine uporabe (klepet, agenti itd.) priporočamo osnovne modele gpt‑oss.

Shemo lahko prilagodite svojim potrebam. Navodila za oblikovanje pozivov in primere najdete v zbirki OpenAI Cookbook.

Različice modelov in velikosti

Oba modela sta fino uravnana iz gpt‑oss brez spremembe arhitekture. Uporabljata isto predlogo klepeta kot gpt‑oss; obstoječo nastavitev lahko ohranite. Priporočeni vzorec poziva je, da svoj pravilnik postavite v sporočilo razvijalca, vsebino za oceno pa v uporabniško sporočilo.

Podpora in skupnost

Uvedbe z odprtimi utežmi upravljate in vzdržujete sami. Podporo lahko dobite tukaj:

• Vprašanja, razprava, nasveti: Za sodelovanje s skupnostjo uporabite strani modelov Hugging Face.

• Ponovljive napake v referenčni kodi OpenAI za sklepanje: Odprite težavo v repozitoriju GitHub za gpt-oss.

• Težave z izvajalnim okoljem tretje osebe (npr. vLLM, Ollama, llama.cpp): Uporabite sledilnik težav, forume ali postopek podpore zadevnega projekta.

OpenAI ne zagotavlja pomoči, praktične implementacije ali podpore za odpravljanje napak za nobene samostojno gostovane ali pri tretjih osebah gostovane nastavitve, konfiguracije, okolja ali aplikacije z odprtimi utežmi.

Še naprej bomo sodelovali s skupnostjo pri izboljševanju odprtih varnostnih orodij, tudi prek ROOST Model Community (RMC). RMC združuje strokovnjake in raziskovalce na področju varnosti za izmenjavo najboljših praks pri uvajanju odprtokodnih modelov AI v varnostne poteke dela, vključno z rezultati vrednotenja in povratnimi informacijami o modelih. Obiščite repozitorij RMC GitHub, če želite izvedeti več o tem partnerstvu in kako se vključiti.

Podpora in skupnost

Uvedbe z odprtimi utežmi upravljate in vzdržujete sami. Podporo lahko dobite tukaj:

• Vprašanja, razprava, nasveti: Za sodelovanje s skupnostjo uporabite strani modelov Hugging Face.

• Ponovljive napake v referenčni kodi OpenAI za sklepanje: Odprite težavo v repozitoriju GitHub za gpt-oss.

• Težave z izvajalnim okoljem tretje osebe (npr. vLLM, Ollama, llama.cpp): Uporabite sledilnik težav, forume ali postopek podpore zadevnega projekta.

OpenAI ne zagotavlja pomoči, praktične implementacije ali podpore za odpravljanje napak za nobene samostojno gostovane ali pri tretjih osebah gostovane nastavitve, konfiguracije, okolja ali aplikacije z odprtimi utežmi.

Zasebnost in varnost

Zasebnost in podatki

Ti modeli so zasnovani za delovanje na infrastrukturi, ki jo nadzorujete (lokalno ali v vašem oblaku oziroma pri partnerju za gostovanje). OpenAI ne prejema ali obdeluje podatkov, ki jih pošljete tem samostojno gostovanim modelom, razen če jih izrecno delite z OpenAI ali uporabite enega od naših upravljanih partnerjev za gostovanje.

Varnost

Ti modeli so prestali obsežno varnostno usposabljanje in testiranje. Za več podrobnosti si oglejte naš sistemski dokument modela in tehnično poročilo.

Prijava kršitev vsebine

Če menite, da vsebina, ustvarjena z modeli gpt‑oss, krši naše pravilnike, jo lahko prijavite prek našega obrazca za prijavo vsebine. Navedite čim več podrobnosti, da bo naša ekipa lažje pregledala vašo prijavo.

Pogosta vprašanja

Ali so ti modeli brezplačni?

Uteži modelov gpt-oss lahko brezplačno prenesete in uporabljate pod licenco Apache 2.0 in pravilnikom uporabe gpt-oss. Vendar ste odgovorni za vse stroške, povezane z njihovim izvajanjem — kot so stroški računanja, shranjevanja ali gostovanja pri tretjih osebah. Cene zanje bodo odvisne od izbrane infrastrukture ali ponudnika.

Ali so ti modeli »odprtokodni«?

Uporabljamo izraz odprti modeli ali modeli z odprtimi utežmi za označevanje, da so naučene uteži javno dostopne pod dovoljujočo licenco Apache 2.0 in pravilnikom uporabe gpt-oss. To pomeni, da lahko modele prenesete, jih zaženete na lastni infrastrukturi ali s podprtimi ogrodji za gostovanje ter jih prilagodite ali fino uravnavate.

Odprti modeli razvijalcem in organizacijam omogočajo več nadzora in prilagodljivosti. Izberete lahko, kje jih boste gostovali, prilagodite modele za posebne primere uporabe in izkoristite licenciranje, ki omogoča široko uporabo, spreminjanje in ponovno distribucijo. Čeprav so naučene uteži odprte, lahko nekatera okoliška infrastruktura ali orodja ostanejo lastniška pri svojih ponudnikih.

Ali lahko do teh modelov dostopam prek API-ja OpenAI ali ChatGPT?

Ne. Ti modeli se ne strežejo v API-ju OpenAI in se ne pojavljajo v ChatGPT.

Ali lahko modele fino uravnavam?

Da. Fino uravnavanje lahko izvedete z odprtokodnimi orodji in želeno infrastrukturo. Za te modele ne ponujamo finega uravnavanja prek API-jev OpenAI.

Ali so modeli z odprtimi utežmi cenejši od uporabe API-ja?

Stroški se razlikujejo glede na infrastrukturo, delovno obremenitev in operativni pristop. Samostojno gostovanje je lahko v nekaterih primerih cenejše, medtem ko je naša platforma API lahko učinkovitejša, če upoštevate gostovanje, vzdrževanje in nadgradnje.

Katere funkcije podpirajo ti modeli?

Ti modeli so trenutno modeli sklepanja samo za besedilo. Pogosta izvajalna okolja podpirajo pretakanje, priklic funkcij in strukturirane izhode. Za natančne zmožnosti preverite dokumentacijo svojega izvajalnega okolja.

Kako se to razlikuje od ModAPI?

To je zelo zmogljiv model sklepanja, ki vam omogoča, da prinesete svoj pravilnik. Lahko deluje skupaj z ModAPI, vendar verjetno ni zamenjava za primere uporabe z nizko zakasnitvijo.