Ülevaade

Tutvustame kahte avatud kaaludega arutlusmudelit: gpt‑oss‑120b ja gpt‑oss‑20b. Need töötavad teie kontrollitaval taristul või majutusteenuse pakkujate kaudu.

Miks avatud kaalud

• Valik ja kontroll: käitage mudeleid kohapeal või oma privaatses pilves, säilitage andmete asukohanõuded ja kohandage jõudlust oma vajaduste järgi.

• Kohandamine: peenhäälestage või kohandage mudeleid oma eelistatud avatud tööriistadega.

Saadavus ja litsentsimine

• Litsents: Apache 2.0 lubab laialdast kasutust, muutmist ja edasi levitamist, sealhulgas ärilist kasutust (vastavalt meie gpt-oss-i kasutuspoliitikale).

• Teenindamine: pole OpenAI API kaudu saadaval, seega API hinnad ja kiiruse piirangud ei kehti.

• Ühilduvus: saab käitada levinud avatud järeldusstackidega, nagu vLLM, Ollama ja llama.cpp, ning pilves või ise hallatavates GPU-keskkondades.

Alustamine

Mudeli kaalude ja abimaterjalide hankimiseks saate teha järgmist:

• Ülevaate ja otselingid leiate gpt-ossi veebisaidilt.

• Laadige kaalud alla Hugging Face’i kollektsioonist – see on kogukonnakeskkond, kust leiate mõlemad mudelid ja kasutusnäited ning saate soovi korral mudelit otse Hugging Face’i teenuste kaudu käitada.

• Mudeli käitamise näidiskoodi leiate meie GitHubi hoidlast.

• Järgige OpenAI retseptide juhendeid, et seadistada toetatud käituskeskkonnad, nagu Ollama, vLLM ja Transformers. Retseptid sisaldavad ka üksikasjalikke juhiseid mudelite kohalikuks käitamiseks, levinud käituskeskkondade kasutamiseks ja gpt-ossi mudelite peenhäälestamiseks, kui see on toetatud.

gpt‑oss‑safeguard (uurimisjärgus eelversioon)

gpt‑oss‑safeguard on gpt‑oss-il põhinev kahest avatud kaaludega ohutuse arutlusmudelist koosnev komplekt. Need on mõeldud reeglistikupõhiseks ohutuse klassifitseerimiseks ning muudeks usalduse ja ohutusega seotud ülesanneteks, mida käitate enda hallatavas taristus. Nagu teistegi gpt‑oss-i mudelite puhul, ei pakuta neid kaale OpenAI API ega ChatGPT kaudu.

• Ainult teksti töötlevad mudelid koos struktureeritud väljundite näidisskeemidega (nt reeglistikul põhinev otsus ja põhjendus).

• Kasutage oma reeglistikku: mudel tõlgendab teie kirjalikku reeglistikku, et seda saaks minimaalse arendustööga eri toodetele üldistada.

• Põhjendatud otsused: valikulised arutluskäigud hõlbustavad silumist ja auditeerimist (mõeldud arendajatele ja ohutusspetsialistidele, mitte lõppkasutajatele kuvamiseks).

• Seadistatav arutluse põhjalikkus: latentsuse ja põhjalikkuse tasakaalustamiseks valige Madal / Keskmine / Kõrge.

• Litsents: Apache 2.0 (vt allpool jaotist Kättesaadavus ja litsentsimine).

gpt‑oss‑safeguard sobib hästi LLM-ide sisendi ja väljundi filtreerimiseks, veebisisu märgendamiseks ning võrguvälise hulgimärgendamise või ülevaatuse töövoogudeks. Üldotstarbeliste rakenduste (vestlused, agendid jne) jaoks soovitame põhilisi gpt‑oss-i mudeleid.

Saate skeemi oma vajaduste järgi kohandada. Viipade koostamise juhendeid ja näiteid leiate OpenAI juhendikogust.

Mudeli variandid & suurused

Mõlemad mudelid on peenhäälestatud mudelist gpt‑oss ilma arhitektuuri muutmata. Need kasutavad sama vestlusmalli nagu gpt‑oss; saate olemasoleva seadistuse alles jätta. Soovitatav viibamuster on paigutada oma poliitika arendaja sõnumisse ja hinnatav sisu kasutaja sõnumisse.

Tugi ja kogukond

Avatud kaaludega juurutusi hallatakse ja teenindatakse ise. Siit saate tuge:

• Küsimused, arutelu, nõuanded: kasutage kogukonnaga suhtlemiseks Hugging Face’i mudelilehti.

• Reprodutseeritavad vead OpenAI viite-järelduskoodis: avage probleem gpt-oss-i GitHubi hoidlas.

• Probleemid kolmanda osapoole käituskeskkonnaga (nt vLLM, Ollama, llama.cpp): kasutage vastava projekti probleemide jälgijat, foorumeid või tugiprotsessi.

OpenAI ei paku abi, praktilist juurutust ega silumistuge ühegi ise majutatud või kolmanda osapoole majutatud avatud kaaludega seadistuse, konfiguratsiooni, keskkonna või rakenduse jaoks.

Jätkame kogukonnaga koostöös täiustamist, et parandada avatud ohutustööriistu, sealhulgas ROOST Model Community (RMC) kaudu. RMC toob kokku ohutusspetsialistid ja teadlased, et jagada parimaid tavasid avatud lähtekoodiga AI-mudelite juurutamiseks ohutuse töövoogudesse, sealhulgas hindamistulemusi ja tagasisidet mudelite kohta. Külastage RMC GitHubi hoidlat, et saada selle partnerluse kohta lisateavet ja teada, kuidas osaleda.

Tugi ja kogukond

Avatud kaaludega juurutusi hallatakse ja teenindatakse ise. Siit saate tuge:

• Küsimused, arutelu, nõuanded: kasutage kogukonnaga suhtlemiseks Hugging Face’i mudelilehti.

• Reprodutseeritavad vead OpenAI viite-järelduskoodis: avage probleem gpt-oss-i GitHubi hoidlas.

• Probleemid kolmanda osapoole käituskeskkonnaga (nt vLLM, Ollama, llama.cpp): kasutage vastava projekti probleemide jälgijat, foorumeid või tugiprotsessi.

OpenAI ei paku abi, praktilist juurutust ega silumistuge ühegi ise majutatud või kolmanda osapoole majutatud avatud kaaludega seadistuse, konfiguratsiooni, keskkonna või rakenduse jaoks.

Privaatsus ja ohutus

Privaatsus ja andmed

Need mudelid on loodud töötama teie kontrollitaval taristul (kohapeal või teie pilves või majutuspartneri juures). OpenAI ei saa ega töötle andmeid, mida saadate neile ise majutatud mudelitele, välja arvatud juhul, kui jagate neid selgesõnaliselt OpenAI-ga või kasutate mõnda meie hallatud majutuspartnerit.

Ohutus

Need mudelid läbisid põhjaliku ohutuskoolituse ja testimise. Lisateavet leiate meie mudeli kaardilt ja tehnilisest aruandest.

Sisurikkumistest teatamine

Kui usute, et gpt‑oss-i mudelitega loodud sisu rikub meie poliitikaid, saate sellest teatada meie sisust teatamise vormi kaudu. Palun esitage võimalikult palju üksikasju, et aidata meie tiimil teie teadet läbi vaadata.

KKK

Kas need mudelid on tasuta?

gpt-oss mudelikaalud saab tasuta alla laadida ja kasutada Apache 2.0 litsentsi ning gpt-oss kasutuspoliitika alusel. Siiski vastutate kõigi nende käitamisega seotud kulude eest — näiteks arvutusressursi, salvestusruumi või kolmanda osapoole majutustasude eest. Nende hinnad sõltuvad teie valitud taristust või teenusepakkujast.

Kas need mudelid on „avatud lähtekoodiga“?

Kasutame termineid open model’id või avatud kaaludega , et näidata, et treenitud kaalud on avalikult saadaval lubava Apache 2.0 litsentsi ja gpt-oss-i kasutuspoliitika alusel. See tähendab, et saate mudelid alla laadida, käitada neid oma taristul või toetatud majutusraamistikega ning neid kohandada või peenhäälestada.

Open model’id annavad arendajatele ja organisatsioonidele suurema kontrolli ja paindlikkuse. Saate valida, kus neid majutada, kohandada mudeleid konkreetsete kasutusjuhtude jaoks ning kasutada litsentsi, mis lubab laialdast kasutust, muutmist ja edasi levitamist. Kuigi treenitud kaalud on avatud, võib osa ümbritsevast taristust või tööriistadest jääda nende pakkujatele kuuluvaks.

Kas saan nendele mudelitele juurde pääseda OpenAI API või ChatGPT kaudu?

Ei. Neid mudeleid ei pakuta OpenAI API-s ja neid ei kuvata ChatGPT-s.

Kas saan mudeleid peenhäälestada?

Jah. Saate peenhäälestada avatud lähtekoodiga tööriistade ja eelistatud taristu abil. Me ei paku nende mudelite jaoks peenhäälestust OpenAI API-de kaudu.

Kas avatud kaaludega mudelid on odavamad kui API kasutamine?

Kulud sõltuvad taristust, töökoormusest ja käitusviisist. Ise majutamine võib mõnel juhul olla odavam, kuid meie API Platform võib olla tõhusam, kui arvesse võtta majutust, hooldust ja uuendusi.

Milliseid funktsioone need mudelid toetavad?

Need mudelid on praegu ainult tekstipõhised arutlusmudelid. Levinud käituskeskkonnad toetavad voogedastust, funktsiooni kutsumist ja struktureeritud väljundeid. Täpsete võimaluste kohta vaadake oma käituskeskkonna dokumentatsiooni.

Kuidas see erineb ModAPI-st?

See on väga võimekas arutlusmudel, mis võimaldab kasutada oma poliitikat. See võib töötada koos ModAPI-ga, kuid tõenäoliselt ei asenda seda väikese latentsusega kasutusjuhtudes.