Pregled

Predstavljamo dva modela rezonovanja s otvorenim težinama: gpt‑oss‑120b i gpt‑oss‑20b. Pokreću se na infrastrukturi koju kontrolišete ili putem hosting pružalaca.

Zašto otvorene težine

• Izbor i kontrola: Pokrećite modele on-premises ili u svom privatnom cloudu, zadržite rezidentnost podataka i prilagodite performanse svojim potrebama.

• Prilagođavanje: Fino podesite ili prilagodite modele pomoću željenih otvorenih alata.

Dostupnost i licenciranje

• Licenca: Apache 2.0 omogućava široku upotrebu, izmjene i redistribuciju, uključujući komercijalnu upotrebu (u skladu s našom gpt-oss politikom korištenja).

• Posluživanje: Nije dostupno putem OpenAI API-ja, pa se cijene API-ja i ograničenja brzine ne primjenjuju.

• Kompatibilnost: Može se pokretati s uobičajenim otvorenim stackovima za inferenciju kao što su vLLM, Ollama, llama.cpp, kao i u cloud ili samostalno upravljanim GPU okruženjima.

Početak rada

Da biste dobili težine modela i prateće resurse, možete:

• Posjetiti gpt-oss web stranicu za pregled i direktne linkove.

• Preuzeti težine iz Hugging Face kolekcije — centra zajednice gdje možete pronaći oba modela, vidjeti primjere korištenja i opcionalno pokrenuti inferenciju direktno putem Hugging Faceovih usluga.

• Pristupiti našem GitHub repozitoriju za referentni kod za inferenciju.

• Koristiti vodiče u OpenAI Cookbooku za postavljanje s podržanim izvršnim okruženjima kao što su Ollama, vLLM i Transformers. Cookbook također uključuje detaljna uputstva za lokalno pokretanje, korištenje uobičajenih izvršnih okruženja i—gdje je podržano—fino podešavanje gpt‑oss modela.

gpt‑oss‑safeguard (istraživački pregled)

gpt‑oss‑safeguard je par modela sigurnosnog rezonovanja s otvorenim težinama izgrađenih na osnovu gpt‑oss. Dizajnirani su za sigurnosnu klasifikaciju zasnovanu na pravilima i povezane zadatke povjerenja i sigurnosti koje pokrećete na infrastrukturi koju kontrolišete. Kao i drugi gpt‑oss modeli, ove težine se ne poslužuju putem OpenAI API-ja ili ChatGPT-a.

• Modeli samo za tekst s referentnim šemama strukturiranog izlaza (npr. odluka o politici, obrazloženje).

• Donesite vlastitu politiku: model tumači vašu pisanu politiku kako bi se mogao generalizirati na različite proizvode uz minimalan inženjerski rad.

• Obrazložene odluke: opcionalni tragovi rezonovanja za pomoć pri otklanjanju grešaka i auditima (namijenjeno developerima i stručnjacima za sigurnost, ne za prikaz krajnjim korisnicima).

• Podesiv napor rezonovanja: odaberite nizak / srednji / visok za balansiranje latencije i dubine.

• Licenca: Apache 2.0 (pogledajte Dostupnost i licenciranje u nastavku).

gpt‑oss‑safeguard je dobar izbor za filtriranje ulaza/izlaza za LLM-ove, označavanje online sadržaja i offline radne tokove skupnog označavanja ili pregleda. Za opće aplikacije (chat, agenti itd.) preporučujemo osnovne gpt‑oss modele.

Šemu možete prilagoditi svojim potrebama. Pogledajte OpenAI Cookbook za vodiče o upitima i primjere.

Varijante i veličine modela

Oba modela su fino podešena iz gpt‑oss-a, bez promjene arhitekture. Koriste isti predložak za chat kao gpt‑oss; možete zadržati postojeću postavku. Preporučeni obrazac zadavanja upita je da svoju politiku stavite u poruku developera, a sadržaj za procjenu u korisničku poruku.

Podrška i zajednica

Implementacije s otvorenim težinama su samostalno upravljane i samostalno održavane. Evo gdje možete dobiti podršku:

• Pitanja, diskusija, savjeti: Koristite stranice modela na Hugging Faceu za povezivanje sa zajednicom.

• Ponovljive greške u OpenAI referentnom kodu za inferenciju: Otvorite issue u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): Koristite tracker za issuee, forume ili proces podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje grešaka za bilo koje samostalno hostovane ili kod trećih strana hostovane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Nastavit ćemo iterirati sa zajednicom kako bismo poboljšali otvorene sigurnosne alate, uključujući kroz ROOST Model Community (RMC). RMC okuplja stručnjake za sigurnost i istraživače kako bi dijelili najbolje prakse za implementaciju AI modela otvorenog koda u sigurnosne radne tokove, uključujući ishode evaluacije i povratne informacije o modelima. Posjetite RMC GitHub repozitorij da saznate više o ovom partnerstvu i kako se uključiti.

Podrška i zajednica

Implementacije s otvorenim težinama su samostalno upravljane i samostalno održavane. Evo gdje možete dobiti podršku:

• Pitanja, diskusija, savjeti: Koristite stranice modela na Hugging Faceu za povezivanje sa zajednicom.

• Ponovljive greške u OpenAI referentnom kodu za inferenciju: Otvorite issue u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): Koristite tracker za issuee, forume ili proces podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje grešaka za bilo koje samostalno hostovane ili kod trećih strana hostovane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Privatnost i sigurnost

Privatnost i podaci

Ovi modeli su dizajnirani za pokretanje na infrastrukturi koju kontrolišete (on-premises ili u vašem cloudu ili kod hosting partnera). OpenAI ne prima niti obrađuje podatke koje šaljete ovim samostalno hostovanim modelima, osim ako ih izričito ne podijelite s OpenAI-jem ili koristite jednog od naših upravljanih hosting partnera.

Sigurnost

Ovi modeli su prošli opsežnu sigurnosnu obuku i testiranje. Za više detalja pogledajte našu karticu modela i tehnički izvještaj.

Prijavljivanje kršenja u sadržaju

Ako smatrate da sadržaj generisan pomoću gpt‑oss modela krši naše politike, možete ga prijaviti putem našeg obrasca za prijavu sadržaja. Navedite što više detalja kako biste pomogli našem timu da pregleda vašu prijavu.

Česta pitanja

Jesu li ovi modeli besplatni?

Težine modela gpt-oss besplatne su za preuzimanje i korištenje pod licencom Apache 2.0 i gpt-oss politikom korištenja. Međutim, vi ste odgovorni za sve troškove povezane s njihovim pokretanjem — kao što su troškovi računarskih resursa, pohrane ili hostinga treće strane. Cijene za to zavisit će od infrastrukture ili pružaoca usluga koje odaberete.

Jesu li ovi modeli „otvorenog koda”?

Koristimo termin open modeli ili otvorene težine kako bismo naznačili da su trenirane težine javno dostupne pod permisivnom licencom Apache 2.0 i gpt-oss politikom korištenja. To znači da možete preuzeti modele, pokretati ih na vlastitoj infrastrukturi ili uz podržane hosting okvire te ih prilagoditi ili fino podesiti.

Open modeli developerima i organizacijama daju veću kontrolu i fleksibilnost. Možete odabrati gdje ćete ih hostovati, prilagoditi modele za specifične slučajeve upotrebe i imati koristi od licence koja omogućava široku upotrebu, izmjene i redistribuciju. Iako su trenirane težine otvorene, neka okolna infrastruktura ili alati mogu ostati vlasnički u odnosu na svoje pružaoce.

Mogu li pristupiti ovim modelima putem OpenAI API-ja ili ChatGPT-a?

Ne. Ovi modeli se ne poslužuju u OpenAI API-ju i ne pojavljuju se u ChatGPT-u.

Mogu li fino podesiti modele?

Da. Fino podešavanje možete obaviti pomoću alata otvorenog koda i željene infrastrukture. Ne nudimo fino podešavanje putem OpenAI API-ja za ove modele.

Jesu li modeli s otvorenim težinama jeftiniji od korištenja API-ja?

Troškovi se razlikuju ovisno o infrastrukturi, radnom opterećenju i operativnom pristupu. Samostalni hosting u nekim slučajevima može biti jeftiniji, dok naša API platforma može biti efikasnija kada se uračunaju hosting, održavanje i nadogradnje.

Koje funkcije ovi modeli podržavaju?

Ovi modeli su trenutno modeli rezonovanja samo za tekst. Uobičajena izvršna okruženja podržavaju streaming, pozivanje funkcija i strukturirane izlaze. Provjerite dokumentaciju svog izvršnog okruženja za tačne mogućnosti.

Po čemu se ovo razlikuje od ModAPI-ja?

Ovo je vrlo sposoban model rezonovanja koji vam omogućava da donesete vlastitu politiku. Može raditi u tandemu s ModAPI-jem, ali vjerovatno nije zamjena za slučajeve upotrebe s niskom latencijom.