Përmbledhje

Prezantohen dy modele arsyetimi me pesha të hapura: gpt‑oss‑120b dhe gpt‑oss‑20b. Ato funksionojnë në infrastrukturën që kontrolloni ju, ose përmes ofruesve të hostimit.

Pse pesha të hapura

• Zgjedhje dhe kontroll: Ekzekutoni modele në ambientet tuaja ose në cloud-in tuaj privat, ruani qëndrimin e të dhënave dhe përshtatni performancën sipas nevojave tuaja.

• Personalizim: Rregulloni imët ose përshtatni modelet me mjetet tuaja të preferuara të hapura.

Disponueshmëria dhe licencimi

• Licenca: Apache 2.0 lejon përdorim, modifikim dhe rishpërndarje të gjerë, përfshirë përdorim komercial (subjekt i politikës sonë të përdorimit për gpt-oss).

• Shërbimi: Nuk ofrohet përmes OpenAI API, ndaj çmimet e API-së dhe kufijtë e normës nuk zbatohen.

• Përputhshmëria: Mund të ekzekutohet me stack-e të zakonshme të hapura inferencë, si vLLM, Ollama, llama.cpp, dhe në mjedise GPU në cloud ose të menaxhuara vetë.

Si të filloni

Për të marrë peshat e modelit dhe burimet mbështetëse, mund të:

• Vizitoni faqen e internetit gpt-oss për një përmbledhje dhe lidhje të drejtpërdrejta.

• Shkarkoni peshat nga koleksioni Hugging Face — një qendër komuniteti ku mund të gjeni të dy modelet, të shihni shembuj përdorimi dhe, opsionalisht, të ekzekutoni inferencë drejtpërdrejt përmes shërbimeve të Hugging Face.

• Hyni në depon tonë në GitHub për kod referencë të inferencës.

• Përdorni udhëzuesit në OpenAI Cookbook për konfigurim me runtime të mbështetura si Ollama, vLLM dhe Transformers. Cookbook përfshin gjithashtu udhëzime hap pas hapi për ekzekutim lokal, përdorim të runtime-ve të zakonshme dhe—aty ku mbështetet—rregullim të imët të modeleve gpt‑oss.

gpt‑oss‑safeguard (parapamje kërkimore)

gpt‑oss‑safeguard është një çift modelesh arsyetimi sigurie me pesha të hapura, të ndërtuara mbi gpt‑oss. Ato janë projektuar për klasifikim sigurie të bazuar në politika dhe detyra të lidhura me besimin & sigurinë, që i ekzekutoni në infrastrukturën që kontrolloni. Ashtu si modelet e tjera gpt‑oss, këto pesha nuk ofrohen përmes OpenAI API ose ChatGPT.

• Modele vetëm për tekst me skema referencë për outpute të strukturuara (p.sh., vendim politike, arsyetim).

• Sillni politikën tuaj: modeli interpreton politikën tuaj të shkruar që të mund të përgjithësojë nëpër produkte me inxhinieri minimale.

• Vendime të arsyetuara: gjurmë opsionale arsyetimi për të ndihmuar korrigjimin e gabimeve dhe auditimet (të synuara për zhvillues dhe praktikues të sigurisë, jo për shfaqje te përdoruesit fundorë).

• Përpjekje arsyetimi e konfigurueshme: zgjidhni të ulët / mesatare / të lartë për të balancuar vonesën me thellësinë.

• Licenca: Apache 2.0 (shihni Disponueshmëria dhe licencimi më poshtë).

gpt‑oss‑safeguard është i përshtatshëm për filtrimin e hyrjeve/daljeve për LLM-të, etiketimin e përmbajtjes online dhe rrjedhat e punës për etiketim ose shqyrtim në grup offline. Për aplikime të përgjithshme (bisedë, agjentë etj.), rekomandojmë modelet bazë gpt‑oss.

Mund ta përshtatni skemën sipas nevojave tuaja. Ju lutemi referojuni OpenAI Cookbook për udhëzues mbi kërkesat dhe shembuj.

Variantet dhe përmasat e modeleve

Të dy modelet janë rregulluar imët nga gpt‑oss pa ndryshim arkitekture. Ato përdorin të njëjtin shabllon bisede si gpt‑oss; mund të ruani konfigurimin tuaj ekzistues. Një model i rekomanduar kërkese është të vendosni politikën tuaj në një mesazh zhvilluesi dhe përmbajtjen për vlerësim në një mesazh përdoruesi.

Mbështetja dhe komuniteti

Implementimet me pesha të hapura menaxhohen dhe shërbehen nga vetë përdoruesi. Ja ku mund të merrni mbështetje:

• Pyetje, diskutime, këshilla: Përdorni faqet e modeleve në Hugging Face për t’u angazhuar me komunitetin.

• Defekte të riprodhueshme në kodin referencë të inferencës të OpenAI: Hapni një çështje në depon e GitHub të gpt-oss.

• Probleme me një runtime të palës së tretë (p.sh., vLLM, Ollama, llama.cpp): Përdorni gjurmuesin e çështjeve, forumet ose procesin e mbështetjes të projektit përkatës.

OpenAI nuk ofron asistencë, zbatim praktik ose mbështetje për korrigjim gabimesh për asnjë konfigurim, mjedis apo aplikacion me pesha të hapura të hostuar vetë ose nga palë të treta.

Do të vazhdojmë të përsërisim me komunitetin për të përmirësuar mjetet e hapura të sigurisë, përfshirë përmes ROOST Model Community (RMC). RMC bashkon praktikues dhe studiues të sigurisë për të ndarë praktikat më të mira për zbatimin e modeleve AI me burim të hapur në rrjedhat e punës së sigurisë, përfshirë rezultatet e vlerësimit dhe komentet për modelet. Vizitoni depon RMC në GitHub për të mësuar më shumë rreth këtij partneriteti dhe si të përfshiheni.

Mbështetja dhe komuniteti

Implementimet me pesha të hapura menaxhohen dhe shërbehen nga vetë përdoruesi. Ja ku mund të merrni mbështetje:

• Pyetje, diskutime, këshilla: Përdorni faqet e modeleve në Hugging Face për t’u angazhuar me komunitetin.

• Defekte të riprodhueshme në kodin referencë të inferencës të OpenAI: Hapni një çështje në depon e GitHub të gpt-oss.

• Probleme me një runtime të palës së tretë (p.sh., vLLM, Ollama, llama.cpp): Përdorni gjurmuesin e çështjeve, forumet ose procesin e mbështetjes të projektit përkatës.

OpenAI nuk ofron asistencë, zbatim praktik ose mbështetje për korrigjim gabimesh për asnjë konfigurim, mjedis apo aplikacion me pesha të hapura të hostuar vetë ose nga palë të treta.

Privatësia dhe siguria

Privatësia dhe të dhënat

Këto modele janë projektuar të funksionojnë në infrastrukturën që kontrolloni ju (në ambientet tuaja ose në cloud-in tuaj apo te partneri juaj i hostimit). OpenAI nuk i merr dhe nuk i përpunon të dhënat që u dërgoni këtyre modeleve të vetë-hostuara, përveçse nëse i ndani shprehimisht me OpenAI, ose përdorni një nga partnerët tanë të menaxhuar të hostimit.

Siguria

Këto modele iu nënshtruan trajnimit dhe testimit të gjerë të sigurisë. Për më shumë hollësi, shihni kartën tonë të modelit dhe raportin teknik.

Raportimi i shkeljeve të përmbajtjes

Nëse besoni se përmbajtja e gjeneruar me modelet gpt‑oss shkel politikat tona, mund ta raportoni përmes formularit tonë Raporto përmbajtjen. Ju lutemi jepni sa më shumë hollësi që të jetë e mundur për të ndihmuar ekipin tonë të shqyrtojë paraqitjen tuaj.

Pyetje të shpeshta

A janë këto modele falas?

Peshat e modelit gpt-oss mund të shkarkohen dhe përdoren falas sipas licencës Apache 2.0 dhe politikës së përdorimit të gpt-oss. Megjithatë, ju jeni përgjegjës për çdo kosto të lidhur me ekzekutimin e tyre — si llogaritja, ruajtja ose tarifat e hostimit nga palë të treta. Çmimi për këto do të varet nga infrastruktura ose ofruesi që zgjidhni.

A janë këto modele “me burim të hapur”?

Ne përdorim termin modele të hapura ose me pesha të hapura për të treguar se peshat e trajnuara janë publikisht të disponueshme sipas licencës lejuese Apache 2.0 dhe politikës së përdorimit të gpt-oss. Kjo do të thotë se mund t’i shkarkoni modelet, t’i ekzekutoni në infrastrukturën tuaj ose me korniza hostimi të mbështetura, dhe t’i personalizoni ose rregulloni imët.

Modelet e hapura u japin zhvilluesve dhe organizatave më shumë kontroll dhe fleksibilitet. Mund të zgjidhni ku t’i hostoni, t’i përshtatni modelet për raste specifike përdorimi dhe të përfitoni nga licencimi që lejon përdorim, modifikim dhe rishpërndarje të gjerë. Ndërsa peshat e trajnuara janë të hapura, një pjesë e infrastrukturës ose mjeteve përreth mund të mbetet pronësore për ofruesit e tyre.

A mund t’u qasem këtyre modeleve përmes OpenAI API ose ChatGPT?

Jo. Këto modele nuk ofrohen në OpenAI API dhe nuk shfaqen në ChatGPT.

A mund t’i rregulloj imët modelet?

Po. Mund të bëni rregullim të imët duke përdorur mjete me burim të hapur dhe infrastrukturën tuaj të preferuar. Nuk ofrojmë rregullim të imët për këto modele përmes API-ve të OpenAI.

A janë modelet me pesha të hapura më të lira se përdorimi i API-së?

Kostot ndryshojnë sipas infrastrukturës, ngarkesës së punës dhe qasjes operacionale. Vetë-hostimi mund të jetë më i lirë në disa raste, ndërsa Platforma jonë API mund të jetë më efikase kur merren parasysh hostimi, mirëmbajtja dhe përmirësimet.

Çfarë veçorish mbështesin këto modele?

Këto modele janë aktualisht modele arsyetimi vetëm për tekst. Runtime-et e zakonshme mbështesin transmetimin, thirrje funksioni dhe outpute të strukturuara. Kontrolloni dokumentacionin e runtime-it tuaj për aftësitë e sakta.

Si ndryshon kjo nga ModAPI?

Ky është një model arsyetimi shumë i aftë që ju lejon të sillni politikën tuaj. Mund të punojë së bashku me ModAPI, por ka të ngjarë të mos jetë zëvendësim për raste përdorimi me vonesë të ulët.