Áttekintés

Bemutatjuk a két nyílt súlyú érvelési modellt: a gpt‑oss‑120b-t és a gpt‑oss‑20b-t. Az Ön által felügyelt infrastruktúrán vagy hosztingszolgáltatókon keresztül futnak.

Miért nyílt súlyok?

• Választás és irányítás: Futtassa a modelleket helyben vagy privát felhőben, őrizze meg az adatok tárolási helyét, és igazítsa a teljesítményt az igényeihez.

• Testreszabás: Finomhangolja vagy alakítsa a modelleket az Ön által előnyben részesített nyílt eszközökkel.

Elérhetőség és licencelés

• Licenc: Az Apache 2.0 széles körű használatot, módosítást és terjesztést tesz lehetővé, beleértve a kereskedelmi felhasználást is (a gpt-oss felhasználási szabályzatának megfelelően).

• Kiszolgálás: Az OpenAI API-n keresztül nem érhető el, ezért az API-árazás és a sebességkorlátok nem vonatkoznak rá.

• Kompatibilitás: Futtatható gyakori nyílt következtetési stackekkel, például vLLM, Ollama, llama.cpp használatával, illetve felhős vagy önmenedzselt GPU-környezetekben.

Első lépések

A modellsúlyok és a kapcsolódó erőforrások beszerzéséhez a következőket teheti:

• Látogasson el a gpt-oss weboldalra az áttekintésért és a közvetlen hivatkozásokért.

• Töltse le a súlyokat a Hugging Face gyűjteményből — ez egy közösségi központ, ahol mindkét modell megtalálható, használati példák láthatók, és igény szerint közvetlenül a Hugging Face szolgáltatásain keresztül is futtathat következtetést.

• Nyissa meg a GitHub repónkat referenciaként szolgáló következtetési kódért.

• Használja az OpenAI Cookbook útmutatóit a beállításhoz olyan támogatott futtatókörnyezetekkel, mint az Ollama, a vLLM és a Transformers. A Cookbook lépésről lépésre útmutatásokat is tartalmaz a helyi futtatáshoz, a gyakori futtatókörnyezetek használatához, valamint — ahol támogatott — a gpt‑oss modellek finomhangolásához.

gpt‑oss‑safeguard (kutatási előnézet)

gpt‑oss‑safeguard egy nyílt súlyú biztonsági érvelési modellekből álló páros, amely a gpt‑oss-ra épül. Szabályzatalapú biztonsági osztályozásra és kapcsolódó trust & safety feladatokra tervezték, amelyeket az Ön által felügyelt infrastruktúrán futtat. Más gpt‑oss modellekhez hasonlóan ezek a súlyok sem érhetők el az OpenAI API-n vagy a ChatGPT-ben.

• Csak szöveges modellek referenciajellegű strukturáltkimenet-sémákkal (pl. szabályzati döntés, indoklás).

• Hozza a saját szabályzatát: a modell értelmezi az Ön által írt szabályzatot, így minimális mérnöki munkával tud általánosítani a különböző termékek között.

• Indokolt döntések: opcionális érvelési nyomvonalak a hibakeresés és auditok támogatására (fejlesztőknek és biztonsági szakembereknek szánva, nem végfelhasználói megjelenítésre).

• Konfigurálható érvelési ráfordítás: válasszon alacsony / közepes / magas szintet a késleltetés és a mélység közötti kompromisszumhoz.

• Licenc: Apache 2.0 (lásd lent az Elérhetőség és licencelés részt).

gpt‑oss‑safeguard jó választás LLM-ek bemeneti/kimeneti szűrésére, online tartalomcímkézésre, valamint offline kötegelt címkézési vagy felülvizsgálati munkafolyamatokra. Általános alkalmazásokhoz (chat, ügynökök stb.) a gpt‑oss alapmodelleket ajánljuk.

Az igényeihez igazíthatja a sémát. Az utasításadással kapcsolatos útmutatókért és példákért kérjük, tekintse meg az OpenAI Cookbookot.

Modellváltozatok és méretezés

Mindkét modell a gpt‑oss-ból lett finomhangolva architektúraváltozás nélkül. Ugyanazt a chatsablont használják, mint a gpt‑oss; megtarthatja meglévő beállítását. Ajánlott utasításadási minta, hogy a szabályzatot fejlesztői üzenetbe, az értékelendő tartalmat pedig felhasználói üzenetbe helyezze.

Támogatás és közösség

A nyílt súlyú telepítések önmenedzseltek és önkiszolgálók. Itt kérhet támogatást:

• Kérdések, megbeszélés, tippek: A közösséggel való kapcsolattartáshoz használja a Hugging Face modelloldalakat.

• Reprodukálható hibák az OpenAI referencia-következtetési kódjában: Nyisson issue-t a gpt-oss GitHub repójában.

• Problémák harmadik féltől származó futtatókörnyezettel (pl. vLLM, Ollama, llama.cpp): Használja az adott projekt hibakövetőjét, fórumait vagy támogatási folyamatát.

Az OpenAI nem nyújt segítséget, gyakorlati megvalósítást vagy hibakeresési támogatást semmilyen önhosztolt vagy harmadik fél által hosztolt nyílt súlyú beállításhoz, konfigurációhoz, környezethez vagy alkalmazáshoz.

Továbbra is együtt fejlesztünk a közösséggel a nyílt biztonsági eszközök javítása érdekében, többek között a ROOST Model Community (RMC) révén. Az RMC biztonsági szakembereket és kutatókat hoz össze, hogy megosszák a nyílt forráskódú AI-modellek biztonsági munkafolyamatokba való beépítésének bevált gyakorlatait, beleértve az értékelési eredményeket és a modellekkel kapcsolatos visszajelzéseket is. További információért erről az együttműködésről és a csatlakozás módjáról látogassa meg az RMC GitHub repót.

Támogatás és közösség

A nyílt súlyú telepítések önmenedzseltek és önkiszolgálók. Itt kérhet támogatást:

• Kérdések, megbeszélés, tippek: A közösséggel való kapcsolattartáshoz használja a Hugging Face modelloldalakat.

• Reprodukálható hibák az OpenAI referencia-következtetési kódjában: Nyisson issue-t a gpt-oss GitHub repójában.

• Problémák harmadik féltől származó futtatókörnyezettel (pl. vLLM, Ollama, llama.cpp): Használja az adott projekt hibakövetőjét, fórumait vagy támogatási folyamatát.

Az OpenAI nem nyújt segítséget, gyakorlati megvalósítást vagy hibakeresési támogatást semmilyen önhosztolt vagy harmadik fél által hosztolt nyílt súlyú beállításhoz, konfigurációhoz, környezethez vagy alkalmazáshoz.

Adatvédelem és biztonság

Adatvédelem és adatok

Ezeket a modelleket úgy tervezték, hogy az Ön által felügyelt infrastruktúrán fussanak (helyben, a felhőjében vagy hosztingpartnerénél). Az OpenAI nem kapja meg és nem dolgozza fel az ezeknek az önhosztolt modelleknek küldött adatokat, hacsak Ön kifejezetten meg nem osztja azokat az OpenAI-jal, vagy nem használja valamelyik kezelt hosztingpartnerünket.

Biztonság

Ezek a modellek kiterjedt biztonsági képzésen és tesztelésen estek át. További részletekért tekintse meg modellkártyánkat és technikai jelentésünket.

Tartalomsértések bejelentése

Ha úgy gondolja, hogy a gpt‑oss modellekkel előállított tartalom megsérti a szabályzatainkat, azt bejelentheti a Tartalom bejelentése űrlapon. Kérjük, a lehető legtöbb részletet adja meg, hogy csapatunk felülvizsgálhassa a beküldését.

GYIK

Ingyenesek ezek a modellek?

A gpt-oss modellsúlyok ingyenesen letölthetők és használhatók az Apache 2.0 licenc és a gpt-oss felhasználási szabályzata szerint. Ugyanakkor Ön felel a futtatásukkal kapcsolatos minden költségért — például a számítási, tárolási vagy harmadik fél hosztingdíjaiért. Ezek ára a választott infrastruktúrától vagy szolgáltatótól függ.

Ezek a modellek „nyílt forráskódúak”?

Az open models vagy open-weight kifejezést arra használjuk, hogy jelezzük: a betanított súlyok nyilvánosan elérhetők a megengedő Apache 2.0 licenc és a gpt-oss felhasználási szabályzata alatt. Ez azt jelenti, hogy letöltheti a modelleket, futtathatja őket saját infrastruktúráján vagy támogatott hosztingkeretrendszerekkel, valamint testre szabhatja vagy finomhangolhatja őket.

A nyílt modellek nagyobb irányítást és rugalmasságot adnak a fejlesztőknek és szervezeteknek. Kiválaszthatja, hol hosztolja őket, a modelleket az adott felhasználási esetekhez igazíthatja, és profitálhat a széles körű használatot, módosítást és terjesztést lehetővé tevő licencelésből. Bár a betanított súlyok nyíltak, a kapcsolódó infrastruktúra vagy eszközök egy része továbbra is lehet a szolgáltatóik tulajdona.

Elérhetem ezeket a modelleket az OpenAI API-n vagy a ChatGPT-n keresztül?

Nem. Ezek a modellek nem érhetők el az OpenAI API-ban, és nem jelennek meg a ChatGPT-ben.

Finomhangolhatom a modelleket?

Igen. Finomhangolhat nyílt forráskódú eszközökkel és az Ön által preferált infrastruktúrán. Ezekhez a modellekhez az OpenAI API-kon keresztül nem kínálunk finomhangolást.

Olcsóbbak a nyílt súlyú modellek, mint az API használata?

A költségek az infrastruktúrától, a terheléstől és az üzemeltetési megközelítéstől függően változnak. Az önhosztolás egyes esetekben olcsóbb lehet, míg az API Platformunk hatékonyabb lehet, ha figyelembe vesszük a hosztingot, a karbantartást és a frissítéseket.

Milyen funkciókat támogatnak ezek a modellek?

Ezek a modellek jelenleg csak szöveges érvelési modellek. A gyakori futtatókörnyezetek támogatják a streamelést, a funkcióhívást és a strukturált kimeneteket. A pontos képességekért ellenőrizze a futtatókörnyezete dokumentációját.

Miben különbözik ez a ModAPI-tól?

Ez egy nagy képességű érvelési modell, amely lehetővé teszi, hogy a saját szabályzatát használja. Együtt tud működni a ModAPI-val, de valószínűleg nem helyettesíti azt az alacsony késleltetésű felhasználási esetekben.