Áttekintés

Bemutatunk két nyílt súlyú érvelési modellt: gpt‑oss‑120b és gpt‑oss‑20b. Az Ön által felügyelt infrastruktúrán vagy tárhelyszolgáltatókon keresztül futnak.

Miért nyílt súlyok?

• Választási lehetőség és kontroll: Futtassa a modelleket helyben vagy privát felhőjében, tartsa meg az adatok tárolási helyét, és igazítsa a teljesítményt igényeihez.

• Testreszabás: Finomhangolja vagy igazítsa a modelleket az Ön által előnyben részesített nyílt eszközökkel.

Elérhetőség és licencelés

• Licenc: Az Apache 2.0 széles körű használatot, módosítást és újraterjesztést tesz lehetővé, beleértve a kereskedelmi felhasználást is (a gpt-oss használati szabályzatának megfelelően).

• Kiszolgálás: Nem érhető el az OpenAI API-n keresztül, ezért az API-árazás és a használati korlátok nem érvényesek.

• Kompatibilitás: Futtatható gyakori nyílt inferenciastackekkel, például vLLM, Ollama és llama.cpp használatával, valamint felhőben vagy saját kezelésű GPU-környezetekben.

Első lépések

A modellsúlyok és a támogató erőforrások beszerzéséhez a következőket teheti:

• Áttekintésért és közvetlen hivatkozásokért keresse fel a gpt-oss webhelyet.

• Töltse le a súlyokat a Hugging Face-gyűjteményből — ez egy közösségi központ, ahol mindkét modellt megtalálhatja, használati példákat láthat, és opcionálisan közvetlenül a Hugging Face szolgáltatásain keresztül futtathat inferenciát.

• A referencia-inferenciakódért nyissa meg GitHub-adattárunkat.

• Az Ollama, vLLM és Transformers típusú támogatott futtatókörnyezetekkel való beállításhoz használja az OpenAI Cookbook útmutatóit. A Cookbook lépésről lépésre követhető útmutatókat is tartalmaz a helyi futtatáshoz, a gyakori futtatókörnyezetek használatához, valamint — ahol támogatott — a gpt‑oss modellek finomhangolásához.

gpt‑oss‑safeguard (kutatási előzetes)

A gpt‑oss‑safeguard a gpt‑oss-re épülő nyílt súlyú biztonsági érvelési modellek párja. Szabályzatalapú biztonsági osztályozásra és kapcsolódó bizalmi és biztonsági feladatokra készültek, amelyeket az Ön által felügyelt infrastruktúrán futtat. Más gpt‑oss modellekhez hasonlóan ezek a súlyok sem az OpenAI API-n vagy a ChatGPT-n keresztül érhetők el.

• Csak szöveges modellek referencia strukturáltkimenet-sémákkal (pl. szabályzati döntés, indoklás).

• Hozza a saját szabályzatát: a modell értelmezi az írott szabályzatot, így minimális mérnöki munkával általánosíthat különböző termékek között.

• Indokolt döntések: opcionális érvelési nyomvonalak a hibakeresés és az auditok támogatásához (fejlesztőknek és biztonsági szakembereknek, nem végfelhasználói megjelenítésre).

• Konfigurálható érvelési erőfeszítés: válasszon alacsony / közepes / magas szintet a késleltetés és a mélység közötti kompromisszumhoz.

• Licenc: Apache 2.0 (lásd alább az Elérhetőség és licencelés részt).

A gpt‑oss‑safeguard jól használható LLM-ek bemeneti/kimeneti szűrésére, online tartalomcímkézésre, valamint offline kötegelt címkézési vagy felülvizsgálati munkafolyamatokra. Általános alkalmazásokhoz (csevegés, ügynökök stb.) az alap gpt‑oss modelleket javasoljuk.

A sémát az igényeihez igazíthatja. Az utasításokkal kapcsolatos útmutatókért és példákért tekintse meg az OpenAI Cookbookot.

Modellváltozatok és méretezés

Mindkét modell a gpt‑oss alapján lett finomhangolva, architektúraváltoztatás nélkül. Ugyanazt a csevegési sablont használják, mint a gpt‑oss; megtarthatja a meglévő beállítását. Javasolt utasítási minta, hogy a szabályzatot egy fejlesztői üzenetben, az értékelendő tartalmat pedig egy felhasználói üzenetben helyezze el.

Támogatás és közösség

A nyílt súlyú telepítések saját kezelésűek és önkiszolgálóak. Itt kaphat támogatást:

• Kérdések, beszélgetés, tippek: A közösséggel való kapcsolattartáshoz használja a Hugging Face modelloldalait.

• Reprodukálható hibák az OpenAI referencia-inferenciakódjában: Nyisson hibajegyet a gpt-oss GitHub-adattárában.

• Problémák harmadik féltől származó futtatókörnyezettel (pl. vLLM, Ollama, llama.cpp): Használja az adott projekt hibakövetőjét, fórumait vagy támogatási folyamatát.

Az OpenAI nem nyújt segítséget, gyakorlati megvalósítást vagy hibakeresési támogatást semmilyen saját tárhelyű vagy harmadik fél által hosztolt nyílt súlyú beállításhoz, konfigurációhoz, környezethez vagy alkalmazáshoz.

Továbbra is együtt dolgozunk a közösséggel a nyílt biztonsági eszközök fejlesztésén, többek között a ROOST Model Communityn (RMC) keresztül. Az RMC biztonsági szakembereket és kutatókat hoz össze, hogy megosszák a nyílt forráskódú AI-modellek biztonsági munkafolyamatokba való bevezetésének bevált gyakorlatait, beleértve az értékelési eredményeket és a modellekkel kapcsolatos visszajelzéseket. Látogasson el az RMC GitHub-adattárába, ha többet szeretne megtudni erről a partnerségről és arról, hogyan kapcsolódhat be.

Támogatás és közösség

A nyílt súlyú telepítések saját kezelésűek és önkiszolgálóak. Itt kaphat támogatást:

• Kérdések, beszélgetés, tippek: A közösséggel való kapcsolattartáshoz használja a Hugging Face modelloldalait.

• Reprodukálható hibák az OpenAI referencia-inferenciakódjában: Nyisson hibajegyet a gpt-oss GitHub-adattárában.

• Problémák harmadik féltől származó futtatókörnyezettel (pl. vLLM, Ollama, llama.cpp): Használja az adott projekt hibakövetőjét, fórumait vagy támogatási folyamatát.

Az OpenAI nem nyújt segítséget, gyakorlati megvalósítást vagy hibakeresési támogatást semmilyen saját tárhelyű vagy harmadik fél által hosztolt nyílt súlyú beállításhoz, konfigurációhoz, környezethez vagy alkalmazáshoz.

Adatvédelem és biztonság

Adatvédelem és adatok

Ezeket a modelleket úgy tervezték, hogy az Ön által felügyelt infrastruktúrán fussanak (helyben, illetve az Ön felhőjében vagy hosztolási partnerénél). Az OpenAI nem kapja meg és nem dolgozza fel azokat az adatokat, amelyeket ezeknek a saját tárhelyű modelleknek küld, kivéve, ha kifejezetten megosztja azokat az OpenAI-jal, vagy valamelyik felügyelt hosztolási partnerünket használja.

Biztonság

Ezek a modellek kiterjedt biztonsági betanításon és tesztelésen estek át. További részletekért tekintse meg modellkártyánkat és technikai jelentésünket.

Tartalomsértések bejelentése

Ha úgy véli, hogy a gpt‑oss modellekkel létrehozott tartalom sérti szabályzatainkat, jelentheti a Tartalom bejelentése űrlapunkon. Kérjük, adjon meg minél több részletet, hogy csapatunk könnyebben felülvizsgálhassa beküldését.

GYIK

Ingyenesek ezek a modellek?

A gpt-oss modellsúlyok ingyenesen letölthetők és használhatók az Apache 2.0 licenc és a gpt-oss használati szabályzata alapján. Azonban Ön felel a futtatásukkal kapcsolatos minden költségért — például a számítási kapacitás, a tárhely vagy a harmadik fél általi hosztolás díjaiért. Ezek árazása az Ön által választott infrastruktúrától vagy szolgáltatótól függ.

Ezek a modellek „nyílt forráskódúak”?

A nyílt modellek vagy nyílt súlyú kifejezést annak jelzésére használjuk, hogy a betanított súlyok nyilvánosan elérhetők a megengedő Apache 2.0 licenc és a gpt-oss használati szabályzata alapján. Ez azt jelenti, hogy letöltheti a modelleket, futtathatja őket saját infrastruktúráján vagy támogatott hosztolási keretrendszerekkel, és testre szabhatja vagy finomhangolhatja őket.

A nyílt modellek nagyobb kontrollt és rugalmasságot adnak a fejlesztőknek és szervezeteknek. Megválaszthatja, hol hosztolja őket, adott használati esetekhez igazíthatja a modelleket, és élvezheti a széles körű használatot, módosítást és újraterjesztést lehetővé tevő licencelés előnyeit. Bár a betanított súlyok nyíltak, a kapcsolódó infrastruktúra vagy eszközök egy része a szolgáltatóik tulajdonában maradhat.

Hozzáférhetek ezekhez a modellekhez az OpenAI API-n vagy a ChatGPT-n keresztül?

Nem. Ezek a modellek nem érhetők el az OpenAI API-ban, és nem jelennek meg a ChatGPT-ben.

Finomhangolhatom a modelleket?

Igen. A finomhangolást nyílt forráskódú eszközökkel és az Ön által előnyben részesített infrastruktúrán végezheti. Ezekhez a modellekhez nem kínálunk finomhangolást az OpenAI API-kon keresztül.

Olcsóbbak a nyílt súlyú modellek, mint az API használata?

A költségek az infrastruktúrától, a munkaterheléstől és az üzemeltetési megközelítéstől függően változnak. A saját tárhely bizonyos esetekben olcsóbb lehet, míg az API Platform hatékonyabb lehet, ha figyelembe vesszük a hosztolást, a karbantartást és a frissítéseket.

Milyen funkciókat támogatnak ezek a modellek?

Ezek a modellek jelenleg csak szöveges érvelési modellek. A gyakori futtatókörnyezetek támogatják a streamelést, a funkcióhívást és a strukturált kimeneteket. A pontos képességekért tekintse meg a futtatókörnyezet dokumentációját.

Miben különbözik ez a ModAPI-tól?

Ez egy rendkívül képességes érvelési modell, amely lehetővé teszi, hogy saját szabályzatát használja. Együttműködhet a ModAPI-val, de valószínűleg nem helyettesíti azt az alacsony késleltetést igénylő használati esetekben.