Pregled

Predstavljamo dva modela za rasuđivanje s otvorenim težinama: gpt‑oss‑120b i gpt‑oss‑20b. Pokreću se na infrastrukturi kojom upravljate ili putem pružatelja hostinga.

Zašto otvorene težine

• Izbor i kontrola: pokrećite modele lokalno ili u svom privatnom oblaku, zadržite rezidentnost podataka i prilagodite performanse svojim potrebama.

• Prilagodba: fino podesite ili prilagodite modele željenim otvorenim alatima.

Dostupnost i licenciranje

• Licenca: Apache 2.0 dopušta široku upotrebu, izmjenu i redistribuciju, uključujući komercijalnu upotrebu (podložno našim gpt-oss pravilima upotrebe).

• Posluživanje: nije dostupno putem OpenAI API-ja, pa se cijene API-ja i ograničenja broja zahtjeva ne primjenjuju.

• Kompatibilnost: može se pokretati s uobičajenim otvorenim skupovima za zaključivanje kao što su vLLM, Ollama i llama.cpp te u okruženjima GPU-a u oblaku ili samostalno upravljanim okruženjima.

Početak rada

Da biste dobili težine modela i popratne resurse, možete:

• Posjetiti web-mjesto gpt-oss za pregled i izravne poveznice.

• Preuzeti težine iz kolekcije Hugging Face — središta zajednice u kojem možete pronaći oba modela, vidjeti primjere upotrebe i, po želji, pokrenuti zaključivanje izravno putem usluga Hugging Facea.

• Pristupiti našem GitHub repozitoriju za referentni kod za zaključivanje.

• Upotrijebiti vodiče u OpenAI Cookbooku za postavljanje uz podržana izvršna okruženja kao što su Ollama, vLLM i Transformers. Cookbook uključuje i detaljne upute za lokalno pokretanje, upotrebu uobičajenih izvršnih okruženja i — gdje je podržano — fino podešavanje gpt‑oss modela.

gpt‑oss‑safeguard (istraživački pregled)

gpt‑oss‑safeguard par je sigurnosnih modela za rasuđivanje s otvorenim težinama izgrađenih na temelju gpt‑oss-a. Dizajnirani su za sigurnosnu klasifikaciju temeljenu na pravilima i povezane zadatke povjerenja i sigurnosti koje pokrećete na infrastrukturi kojom upravljate. Kao i drugi gpt‑oss modeli, te se težine ne poslužuju putem OpenAI API-ja ni ChatGPT-a.

• Modeli samo za tekst s referentnim shemama strukturiranih izlaza (npr. odluka prema pravilima, obrazloženje).

• Donesite vlastita pravila: model tumači vaša pisana pravila kako bi se mogao generalizirati na različite proizvode uz minimalan inženjerski rad.

• Obrazložene odluke: neobavezni tragovi rasuđivanja za pomoć pri otklanjanju pogrešaka i revizijama (namijenjeno razvojnim inženjerima i stručnjacima za sigurnost, ne za prikaz krajnjim korisnicima).

• Podesiv napor rasuđivanja: odaberite nisko / srednje / visoko kako biste uravnotežili latenciju i dubinu.

• Licenca: Apache 2.0 (pogledajte Dostupnost i licenciranje u nastavku).

gpt‑oss‑safeguard dobro je rješenje za filtriranje ulaza/izlaza za LLM-ove, označavanje mrežnog sadržaja i izvanmrežne skupne tijekove rada za označavanje ili pregled. Za opće aplikacije (chat, agenti itd.) preporučujemo temeljne gpt‑oss modele.

Shemu možete prilagoditi svojim potrebama. Upute za upite i primjere potražite u OpenAI Cookbooku.

Varijante modela & veličine

Oba modela fino su podešena iz gpt‑oss-a bez promjene arhitekture. Koriste isti predložak za chat kao gpt‑oss; možete zadržati postojeće postavke. Preporučeni obrazac upita jest staviti svoja pravila u poruku razvojne osobe, a sadržaj za procjenu u korisničku poruku.

Podrška i zajednica

Implementacijama s otvorenim težinama upravljate i podržavate ih sami. Evo gdje možete dobiti podršku:

• Pitanja, rasprava, savjeti: upotrijebite stranice modela na Hugging Faceu za uključivanje u zajednicu.

• Ponovljive pogreške u referentnom kodu za zaključivanje tvrtke OpenAI: otvorite problem u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): upotrijebite alat za praćenje problema, forume ili postupak podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje pogrešaka za bilo koje samostalno hostirane ili kod treće strane hostirane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Nastavit ćemo surađivati sa zajednicom kako bismo poboljšali otvorene alate za sigurnost, uključujući putem ROOST Model Communityja (RMC). RMC okuplja stručnjake za sigurnost i istraživače radi dijeljenja najboljih praksi za implementaciju AI modela otvorenog koda u sigurnosne tijekove rada, uključujući rezultate evaluacije i povratne informacije o modelu. Posjetite RMC GitHub repozitorij da biste saznali više o ovom partnerstvu i kako se uključiti.

Podrška i zajednica

Implementacijama s otvorenim težinama upravljate i podržavate ih sami. Evo gdje možete dobiti podršku:

• Pitanja, rasprava, savjeti: upotrijebite stranice modela na Hugging Faceu za uključivanje u zajednicu.

• Ponovljive pogreške u referentnom kodu za zaključivanje tvrtke OpenAI: otvorite problem u gpt-oss GitHub repozitoriju.

• Problemi s izvršnim okruženjem treće strane (npr. vLLM, Ollama, llama.cpp): upotrijebite alat za praćenje problema, forume ili postupak podrške odgovarajućeg projekta.

OpenAI ne pruža pomoć, praktičnu implementaciju ni podršku za otklanjanje pogrešaka za bilo koje samostalno hostirane ili kod treće strane hostirane postavke, konfiguracije, okruženja ili aplikacije s otvorenim težinama.

Privatnost i sigurnost

Privatnost i podaci

Ovi su modeli dizajnirani za rad na infrastrukturi kojom upravljate (lokalno ili u vašem oblaku ili kod hosting partnera). OpenAI ne prima niti obrađuje podatke koje šaljete tim samostalno hostiranim modelima, osim ako ih izričito podijelite s OpenAI-jem ili upotrebljavate jednog od naših upravljanih hosting partnera.

Sigurnost

Ovi su modeli prošli opsežnu obuku i testiranje sigurnosti. Za više pojedinosti pogledajte našu karticu modela i tehničko izvješće.

Prijavljivanje kršenja u sadržaju

Ako smatrate da sadržaj generiran gpt‑oss modelima krši naša pravila, možete ga prijaviti putem našeg obrasca za prijavu sadržaja. Navedite što više pojedinosti kako biste našem timu pomogli pregledati vašu prijavu.

Česta pitanja

Jesu li ovi modeli besplatni?

Težine modela gpt-oss mogu se besplatno preuzeti i upotrebljavati pod licencom Apache 2.0 i pravilima upotrebe za gpt-oss. Međutim, odgovorni ste za sve troškove povezane s njihovim pokretanjem — kao što su računalni resursi, pohrana ili naknade za hosting trećih strana. Cijene za to ovisit će o odabranoj infrastrukturi ili pružatelju usluge.

Jesu li ovi modeli „otvorenog koda”?

Upotrebljavamo izraz open modeli ili otvorene težine kako bismo naznačili da su istrenirane težine javno dostupne pod permisivnom licencom Apache 2.0 i gpt-oss pravilima upotrebe. To znači da možete preuzeti modele, pokrenuti ih na vlastitoj infrastrukturi ili s podržanim okvirima za hosting te ih prilagoditi ili fino podesiti.

Open modeli razvojnim inženjerima i organizacijama daju veću kontrolu i fleksibilnost. Možete odabrati gdje ćete ih hostirati, prilagoditi modele za određene slučajeve upotrebe i iskoristiti licenciranje koje dopušta široku upotrebu, izmjenu i redistribuciju. Iako su istrenirane težine otvorene, dio okolne infrastrukture ili alata može ostati vlasnički i pripadati njihovim pružateljima.

Mogu li pristupiti ovim modelima putem OpenAI API-ja ili ChatGPT-a?

Ne. Ovi se modeli ne poslužuju u OpenAI API-ju i ne pojavljuju se u ChatGPT-u.

Mogu li fino podesiti modele?

Da. Fino podešavanje možete provesti pomoću alata otvorenog koda i željene infrastrukture. Za te modele ne nudimo fino podešavanje putem OpenAI API-ja.

Jesu li modeli s otvorenim težinama jeftiniji od upotrebe API-ja?

Troškovi se razlikuju ovisno o infrastrukturi, opterećenju i operativnom pristupu. Samostalni hosting u nekim slučajevima može biti jeftiniji, dok naša API platforma može biti učinkovitija kada se uračunaju hosting, održavanje i nadogradnje.

Koje značajke ovi modeli podržavaju?

Ovi su modeli trenutačno tekstualni modeli za rasuđivanje. Uobičajena izvršna okruženja podržavaju strujanje, pozivanje funkcija i strukturirane izlaze. Točne mogućnosti provjerite u dokumentaciji svog izvršnog okruženja.

Po čemu se ovo razlikuje od ModAPI-ja?

Ovo je vrlo sposoban model za rasuđivanje koji vam omogućuje da donesete vlastita pravila. Može raditi zajedno s ModAPI-jem, ali vjerojatno nije zamjena za slučajeve upotrebe s niskom latencijom.