Pregled

Predstavljamo dva modela rezonovanja s otvorenim težinama: gpt‑oss‑120b i gpt‑oss‑20b. Pokreću se na infrastrukturi koju kontrolišete ili putem hosting pružalaca.

Zašto otvorene težine

• Izbor i kontrola: Pokrećite modele on-premises ili u svom privatnom cloudu, zadržite rezidentnost podataka i prilagodite performanse svojim potrebama.

• Prilagođavanje: Fino podesite ili prilagodite modele pomoću željenih otvorenih alata.

Dostupnost i licenciranje

• Licenca: Apache 2.0 omogućava široku upotrebu, izmjene i redistribuciju, uključujući komercijalnu upotrebu (u skladu s našom gpt-oss politikom korištenja).

• Posluživanje: Nije dostupno putem OpenAI API-ja, pa se cijene API-ja i ograničenja brzine ne primjenjuju.

• Kompatibilnost: Može se pokretati s uobičajenim otvorenim stackovima za inferenciju kao što su vLLM, Ollama, llama.cpp, kao i u cloud ili samostalno upravljanim GPU okruženjima.

Prvi koraci

Težine modela i prateće resurse možete preuzeti na sljedeće načine:

• Posjetite web-stranicu gpt-oss za pregled i direktne linkove.

• Preuzmite težine iz kolekcije Hugging Face — centra zajednice u kojem možete pronaći oba modela, pogledati primjere korištenja i, po želji, pokrenuti inferenciju direktno putem usluga Hugging Facea.

• Pristupite našem GitHub repozitoriju s referentnim kodom za inferenciju.

• Koristite vodiče u odjeljku OpenAI recepti za postavljanje uz podržana izvršna okruženja kao što su Ollama, vLLM i Transformers. Recepti također sadrže detaljna uputstva za lokalno pokretanje, korištenje uobičajenih izvršnih okruženja i fino podešavanje gpt-oss modela tamo gdje je ono podržano.

gpt‑oss‑safeguard (istraživačka pretpremijera)

gpt‑oss‑safeguard je par modela rezonovanja za sigurnost s otvorenim težinama, izgrađenih na osnovi gpt‑oss. Namijenjeni su sigurnosnoj klasifikaciji zasnovanoj na pravilima i povezanim zadacima u oblasti povjerenja i sigurnosti koje izvršavate na infrastrukturi pod svojom kontrolom. Kao i kod drugih gpt‑oss modela, ove težine nisu dostupne putem OpenAI API-ja ni usluge ChatGPT.

• Modeli isključivo za tekst s referentnim šemama strukturiranih izlaza (npr. odluka prema pravilima, obrazloženje).

• Koristite vlastita pravila: model tumači vaša pisana pravila kako bi se uz minimalan inženjerski rad mogao primijeniti na različite proizvode.

• Obrazložene odluke: opcionalni tragovi rezonovanja olakšavaju otklanjanje grešaka i revizije (namijenjeni su programerima i stručnjacima za sigurnost, a ne prikazivanju krajnjim korisnicima).

• Podesiv nivo rezonovanja: odaberite Niska / Srednja / Visoka kako biste uskladili kašnjenje i dubinu.

• Licenca: Apache 2.0 (pogledajte odjeljak Dostupnost i licenciranje u nastavku).

gpt‑oss‑safeguard je prikladan za filtriranje ulaza i izlaza LLM-ova, označavanje sadržaja na internetu te grupno označavanje ili radne procese pregleda van mreže. Za aplikacije opće namjene (razgovor, agenti itd.) preporučujemo osnovne gpt‑oss modele.

Šemu možete prilagoditi svojim potrebama. Upute za pisanje promptova i primjere potražite u OpenAI Cookbooku.

Varijante i veličine modela

Oba modela su fino podešena iz gpt‑oss-a, bez promjene arhitekture. Koriste isti predložak za chat kao gpt‑oss; možete zadržati postojeću postavku. Preporučeni obrazac zadavanja upita je da svoju politiku stavite u poruku developera, a sadržaj za procjenu u korisničku poruku.

Podrška i zajednica

Implementacije s otvorenim težinama su samostalno upravljane i samostalno održavane. Evo gdje možete dobiti podršku:

• Pitanja, diskusija, savjeti: Koristite stranice modela na Hugging Faceu za povezivanje sa zajednicom.

• Ponovljive greške u OpenAI referentnom kodu za inferenciju: Otvorite issue u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): Koristite tracker za issuee, forume ili proces podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje grešaka za bilo koje samostalno hostovane ili kod trećih strana hostovane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Nastavit ćemo iterirati sa zajednicom kako bismo poboljšali otvorene sigurnosne alate, uključujući kroz ROOST Model Community (RMC). RMC okuplja stručnjake za sigurnost i istraživače kako bi dijelili najbolje prakse za implementaciju AI modela otvorenog koda u sigurnosne radne tokove, uključujući ishode evaluacije i povratne informacije o modelima. Posjetite RMC GitHub repozitorij da saznate više o ovom partnerstvu i kako se uključiti.

Podrška i zajednica

Implementacije s otvorenim težinama su samostalno upravljane i samostalno održavane. Evo gdje možete dobiti podršku:

• Pitanja, diskusija, savjeti: Koristite stranice modela na Hugging Faceu za povezivanje sa zajednicom.

• Ponovljive greške u OpenAI referentnom kodu za inferenciju: Otvorite issue u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): Koristite tracker za issuee, forume ili proces podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje grešaka za bilo koje samostalno hostovane ili kod trećih strana hostovane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Privatnost i sigurnost

Privatnost i podaci

Ovi modeli su dizajnirani za pokretanje na infrastrukturi koju kontrolišete (on-premises ili u vašem cloudu ili kod hosting partnera). OpenAI ne prima niti obrađuje podatke koje šaljete ovim samostalno hostovanim modelima, osim ako ih izričito ne podijelite s OpenAI-jem ili koristite jednog od naših upravljanih hosting partnera.

Sigurnost

Ovi modeli su prošli opsežnu sigurnosnu obuku i testiranje. Za više detalja pogledajte našu karticu modela i tehnički izvještaj.

Prijavljivanje kršenja u sadržaju

Ako smatrate da sadržaj generisan pomoću gpt‑oss modela krši naše politike, možete ga prijaviti putem našeg obrasca za prijavu sadržaja. Navedite što više detalja kako biste pomogli našem timu da pregleda vašu prijavu.

Česta pitanja

Jesu li ovi modeli besplatni?

Težine modela gpt-oss besplatne su za preuzimanje i korištenje pod licencom Apache 2.0 i gpt-oss politikom korištenja. Međutim, vi ste odgovorni za sve troškove povezane s njihovim pokretanjem — kao što su troškovi računarskih resursa, pohrane ili hostinga treće strane. Cijene za to zavisit će od infrastrukture ili pružaoca usluga koje odaberete.

Jesu li ovi modeli „otvorenog koda”?

Koristimo termin open modeli ili otvorene težine kako bismo naznačili da su trenirane težine javno dostupne pod permisivnom licencom Apache 2.0 i gpt-oss politikom korištenja. To znači da možete preuzeti modele, pokretati ih na vlastitoj infrastrukturi ili uz podržane hosting okvire te ih prilagoditi ili fino podesiti.

Open modeli developerima i organizacijama daju veću kontrolu i fleksibilnost. Možete odabrati gdje ćete ih hostovati, prilagoditi modele za specifične slučajeve upotrebe i imati koristi od licence koja omogućava široku upotrebu, izmjene i redistribuciju. Iako su trenirane težine otvorene, neka okolna infrastruktura ili alati mogu ostati vlasnički u odnosu na svoje pružaoce.

Mogu li pristupiti ovim modelima putem OpenAI API-ja ili ChatGPT-a?

Ne. Ovi modeli se ne poslužuju u OpenAI API-ju i ne pojavljuju se u ChatGPT-u.

Mogu li fino podesiti modele?

Da. Fino podešavanje možete obaviti pomoću alata otvorenog koda i željene infrastrukture. Ne nudimo fino podešavanje putem OpenAI API-ja za ove modele.

Jesu li modeli s otvorenim težinama jeftiniji od korištenja API-ja?

Troškovi se razlikuju ovisno o infrastrukturi, radnom opterećenju i operativnom pristupu. Samostalni hosting u nekim slučajevima može biti jeftiniji, dok naša API platforma može biti efikasnija kada se uračunaju hosting, održavanje i nadogradnje.

Koje funkcije ovi modeli podržavaju?

Ovi modeli su trenutno modeli rezonovanja samo za tekst. Uobičajena izvršna okruženja podržavaju streaming, pozivanje funkcija i strukturirane izlaze. Provjerite dokumentaciju svog izvršnog okruženja za tačne mogućnosti.

Po čemu se ovo razlikuje od ModAPI-ja?

Ovo je vrlo sposoban model rezonovanja koji vam omogućava da donesete vlastitu politiku. Može raditi u tandemu s ModAPI-jem, ali vjerovatno nije zamjena za slučajeve upotrebe s niskom latencijom.