Pregled

Predstavljamo dva modela sklepanja z odprtimi utežmi: gpt‑oss‑120b in gpt‑oss‑20b. Delujeta na infrastrukturi, ki jo nadzorujete, ali prek ponudnikov gostovanja.

Zakaj odprte uteži

• Izbira in nadzor: Zaženite modele lokalno ali v zasebnem oblaku, ohranite lokalno hrambo podatkov in prilagodite zmogljivost svojim potrebam.

• Prilagoditev: Fino uravnajte ali prilagodite modele z želenimi odprtimi orodji.

Razpoložljivost in licenciranje

• Licenca: Apache 2.0 omogoča široko uporabo, spreminjanje in ponovno distribucijo, vključno s komercialno uporabo (ob upoštevanju našega pravilnika uporabe gpt-oss).

• Streženje: Ni na voljo prek API-ja OpenAI, zato cene API-ja in omejitve hitrosti ne veljajo.

• Združljivost: Lahko se izvaja s pogostimi odprtimi skladi za sklepanje, kot so vLLM, Ollama in llama.cpp, ter v oblačnih ali samostojno upravljanih okoljih GPU.

Uvod

Za pridobitev uteži modela in podpornih virov lahko:

• Obiščete spletno mesto gpt-oss za pregled in neposredne povezave.

• Prenesete uteži iz zbirke Hugging Face — središča skupnosti, kjer najdete oba modela, si ogledate primere uporabe in po želji zaženete sklepanje neposredno prek storitev Hugging Face.

• Dostopate do našega repozitorija GitHub z referenčno kodo za sklepanje.

• Uporabite vodnike v OpenAI Cookbook za nastavitev s podprtimi izvajalnimi okolji, kot so Ollama, vLLM in Transformers. Cookbook vključuje tudi navodila po korakih za lokalno izvajanje, uporabo pogostih izvajalnih okolij in — kjer je podprto — fino uravnavanje modelov gpt‑oss.

gpt‑oss‑safeguard (raziskovalni predogled)

gpt‑oss‑safeguard je par varnostnih modelov sklepanja z odprtimi utežmi, zgrajenih na osnovi gpt‑oss. Zasnovani so za varnostno klasifikacijo na podlagi pravilnikov in sorodne naloge zaupanja in varnosti, ki jih izvajate na infrastrukturi, ki jo nadzorujete. Tako kot drugi modeli gpt‑oss se te uteži ne strežejo prek API-ja OpenAI ali ChatGPT.

• Modeli samo za besedilo z referenčnimi shemami strukturiranih izhodov (npr. odločitev pravilnika, utemeljitev).

• Prinesite svoj pravilnik: model interpretira vaš pisni pravilnik, da lahko posplošuje med izdelki z minimalnim inženirskim delom.

• Utemeljene odločitve: izbirne sledi sklepanja za lažje odpravljanje napak in revizije (namenjene razvijalcem in strokovnjakom za varnost, ne prikazu končnim uporabnikom).

• Nastavljiv napor sklepanja: izberite nizko/srednje/visoko za uravnoteženje zakasnitve in globine.

• Licenca: Apache 2.0 (glejte Razpoložljivost in licenciranje spodaj).

gpt‑oss‑safeguard je primeren za filtriranje vhodov/izhodov za velike jezikovne modele, označevanje spletnih vsebin ter poteke dela za označevanje ali pregledovanje paketov brez povezave. Za splošne aplikacije (klepet, agenti itd.) priporočamo osnovne modele gpt‑oss.

Shemo lahko prilagodite svojim potrebam. Za vodnike o pozivih in primere si oglejte OpenAI Cookbook.

Različice modelov in velikosti

Oba modela sta fino uravnana iz gpt‑oss brez spremembe arhitekture. Uporabljata isto predlogo klepeta kot gpt‑oss; obstoječo nastavitev lahko ohranite. Priporočeni vzorec poziva je, da svoj pravilnik postavite v sporočilo razvijalca, vsebino za oceno pa v uporabniško sporočilo.

Podpora in skupnost

Uvedbe z odprtimi utežmi upravljate in vzdržujete sami. Podporo lahko dobite tukaj:

• Vprašanja, razprava, nasveti: Za sodelovanje s skupnostjo uporabite strani modelov Hugging Face.

• Ponovljive napake v referenčni kodi OpenAI za sklepanje: Odprite težavo v repozitoriju GitHub za gpt-oss.

• Težave z izvajalnim okoljem tretje osebe (npr. vLLM, Ollama, llama.cpp): Uporabite sledilnik težav, forume ali postopek podpore zadevnega projekta.

OpenAI ne zagotavlja pomoči, praktične implementacije ali podpore za odpravljanje napak za nobene samostojno gostovane ali pri tretjih osebah gostovane nastavitve, konfiguracije, okolja ali aplikacije z odprtimi utežmi.

Še naprej bomo sodelovali s skupnostjo pri izboljševanju odprtih varnostnih orodij, tudi prek ROOST Model Community (RMC). RMC združuje strokovnjake in raziskovalce na področju varnosti za izmenjavo najboljših praks pri uvajanju odprtokodnih modelov AI v varnostne poteke dela, vključno z rezultati vrednotenja in povratnimi informacijami o modelih. Obiščite repozitorij RMC GitHub, če želite izvedeti več o tem partnerstvu in kako se vključiti.

Podpora in skupnost

Uvedbe z odprtimi utežmi upravljate in vzdržujete sami. Podporo lahko dobite tukaj:

• Vprašanja, razprava, nasveti: Za sodelovanje s skupnostjo uporabite strani modelov Hugging Face.

• Ponovljive napake v referenčni kodi OpenAI za sklepanje: Odprite težavo v repozitoriju GitHub za gpt-oss.

• Težave z izvajalnim okoljem tretje osebe (npr. vLLM, Ollama, llama.cpp): Uporabite sledilnik težav, forume ali postopek podpore zadevnega projekta.

OpenAI ne zagotavlja pomoči, praktične implementacije ali podpore za odpravljanje napak za nobene samostojno gostovane ali pri tretjih osebah gostovane nastavitve, konfiguracije, okolja ali aplikacije z odprtimi utežmi.

Zasebnost in varnost

Zasebnost in podatki

Ti modeli so zasnovani za delovanje na infrastrukturi, ki jo nadzorujete (lokalno ali v vašem oblaku oziroma pri partnerju za gostovanje). OpenAI ne prejema ali obdeluje podatkov, ki jih pošljete tem samostojno gostovanim modelom, razen če jih izrecno delite z OpenAI ali uporabite enega od naših upravljanih partnerjev za gostovanje.

Varnost

Ti modeli so prestali obsežno varnostno usposabljanje in testiranje. Za več podrobnosti si oglejte naš sistemski dokument modela in tehnično poročilo.

Prijava kršitev vsebine

Če menite, da vsebina, ustvarjena z modeli gpt‑oss, krši naše pravilnike, jo lahko prijavite prek našega obrazca za prijavo vsebine. Navedite čim več podrobnosti, da bo naša ekipa lažje pregledala vašo prijavo.

Pogosta vprašanja

Ali so ti modeli brezplačni?

Uteži modelov gpt-oss lahko brezplačno prenesete in uporabljate pod licenco Apache 2.0 in pravilnikom uporabe gpt-oss. Vendar ste odgovorni za vse stroške, povezane z njihovim izvajanjem — kot so stroški računanja, shranjevanja ali gostovanja pri tretjih osebah. Cene zanje bodo odvisne od izbrane infrastrukture ali ponudnika.

Ali so ti modeli »odprtokodni«?

Uporabljamo izraz odprti modeli ali modeli z odprtimi utežmi za označevanje, da so naučene uteži javno dostopne pod dovoljujočo licenco Apache 2.0 in pravilnikom uporabe gpt-oss. To pomeni, da lahko modele prenesete, jih zaženete na lastni infrastrukturi ali s podprtimi ogrodji za gostovanje ter jih prilagodite ali fino uravnavate.

Odprti modeli razvijalcem in organizacijam omogočajo več nadzora in prilagodljivosti. Izberete lahko, kje jih boste gostovali, prilagodite modele za posebne primere uporabe in izkoristite licenciranje, ki omogoča široko uporabo, spreminjanje in ponovno distribucijo. Čeprav so naučene uteži odprte, lahko nekatera okoliška infrastruktura ali orodja ostanejo lastniška pri svojih ponudnikih.

Ali lahko do teh modelov dostopam prek API-ja OpenAI ali ChatGPT?

Ne. Ti modeli se ne strežejo v API-ju OpenAI in se ne pojavljajo v ChatGPT.

Ali lahko modele fino uravnavam?

Da. Fino uravnavanje lahko izvedete z odprtokodnimi orodji in želeno infrastrukturo. Za te modele ne ponujamo finega uravnavanja prek API-jev OpenAI.

Ali so modeli z odprtimi utežmi cenejši od uporabe API-ja?

Stroški se razlikujejo glede na infrastrukturo, delovno obremenitev in operativni pristop. Samostojno gostovanje je lahko v nekaterih primerih cenejše, medtem ko je naša platforma API lahko učinkovitejša, če upoštevate gostovanje, vzdrževanje in nadgradnje.

Katere funkcije podpirajo ti modeli?

Ti modeli so trenutno modeli sklepanja samo za besedilo. Pogosta izvajalna okolja podpirajo pretakanje, priklic funkcij in strukturirane izhode. Za natančne zmožnosti preverite dokumentacijo svojega izvajalnega okolja.

Kako se to razlikuje od ModAPI?

To je zelo zmogljiv model sklepanja, ki vam omogoča, da prinesete svoj pravilnik. Lahko deluje skupaj z ModAPI, vendar verjetno ni zamenjava za primere uporabe z nizko zakasnitvijo.