Përmbledhje

Prezantohen dy modele arsyetimi me pesha të hapura: gpt‑oss‑120b dhe gpt‑oss‑20b. Ato funksionojnë në infrastrukturën që kontrolloni ju, ose përmes ofruesve të hostimit.

Pse pesha të hapura

• Zgjedhje dhe kontroll: Ekzekutoni modele në ambientet tuaja ose në cloud-in tuaj privat, ruani qëndrimin e të dhënave dhe përshtatni performancën sipas nevojave tuaja.

• Personalizim: Rregulloni imët ose përshtatni modelet me mjetet tuaja të preferuara të hapura.

Disponueshmëria dhe licencimi

• Licenca: Apache 2.0 lejon përdorim, modifikim dhe rishpërndarje të gjerë, përfshirë përdorim komercial (subjekt i politikës sonë të përdorimit për gpt-oss).

• Shërbimi: Nuk ofrohet përmes OpenAI API, ndaj çmimet e API-së dhe kufijtë e normës nuk zbatohen.

• Përputhshmëria: Mund të ekzekutohet me stack-e të zakonshme të hapura inferencë, si vLLM, Ollama, llama.cpp, dhe në mjedise GPU në cloud ose të menaxhuara vetë.

Hapat e parë

Për të marrë peshat e modelit dhe burimet ndihmëse, mund të:

• Vizitoni faqen e internetit të gpt-oss për një përmbledhje dhe lidhje të drejtpërdrejta.

• Shkarkoni peshat nga koleksioni në Hugging Face — një qendër komunitare ku mund të gjeni të dy modelet, të shihni shembuj përdorimi dhe, nëse dëshironi, të kryeni inferencën drejtpërdrejt përmes shërbimeve të Hugging Face.

• Hyni në depon tonë në GitHub për kod reference për inferencën.

• Përdorni udhëzuesit te Recetat e OpenAI për konfigurimin me mjedise ekzekutimi të mbështetura, si Ollama, vLLM dhe Transformers. Recetat përfshijnë gjithashtu udhëzime hap pas hapi për ekzekutimin lokal, përdorimin e mjediseve të zakonshme të ekzekutimit dhe—aty ku mbështetet—përshtatjen e imët të modeleve gpt-oss.

gpt‑oss‑safeguard (version paraprak kërkimor)

gpt‑oss‑safeguard është një dyshe modelesh arsyetimi për sigurinë me pesha të hapura, të bazuara në gpt‑oss. Ato janë krijuar për klasifikimin e sigurisë bazuar në politika dhe për detyra të ngjashme të besueshmërisë dhe sigurisë, të cilat i ekzekutoni në infrastrukturën që kontrolloni. Ashtu si modelet e tjera gpt‑oss, këto pesha nuk ofrohen përmes API-së së OpenAI ose ChatGPT.

• Modele vetëm me tekst, me skema referuese për outpute të strukturuara (p.sh., vendimi sipas politikës dhe argumentimi).

• Përdorni politikën tuaj: modeli interpreton politikën tuaj të shkruar, që të mund të përgjithësojë në produkte të ndryshme me punë minimale inxhinierike.

• Vendime të arsyetuara: gjurmë opsionale të arsyetimit që ndihmojnë në korrigjimin e gabimeve dhe auditime (të synuara për zhvilluesit dhe specialistët e sigurisë, jo për t’iu shfaqur përdoruesve fundorë).

• Nivel i konfigurueshëm arsyetimi: zgjidhni i ulët / Mesatare / High për të balancuar vonesën me thellësinë.

• Licenca: Apache 2.0 (shihni më poshtë Disponueshmëria dhe licencimi).

gpt‑oss‑safeguard është i përshtatshëm për filtrimin e hyrjeve dhe daljeve të LLM-ve, etiketimin e përmbajtjes në internet dhe etiketimin në seri ose proceset e shqyrtimit jashtë linje. Për përdorime të përgjithshme (biseda, agjentë etj.), rekomandojmë modelet bazë gpt‑oss.

Mund ta përshtatni skemën sipas nevojave tuaja. Për udhëzime mbi hartimin e prompteve dhe për shembuj, referojuni Cookbook-ut të OpenAI.

Variantet dhe përmasat e modeleve

Të dy modelet janë rregulluar imët nga gpt‑oss pa ndryshim arkitekture. Ato përdorin të njëjtin shabllon bisede si gpt‑oss; mund të ruani konfigurimin tuaj ekzistues. Një model i rekomanduar kërkese është të vendosni politikën tuaj në një mesazh zhvilluesi dhe përmbajtjen për vlerësim në një mesazh përdoruesi.

Mbështetja dhe komuniteti

Implementimet me pesha të hapura menaxhohen dhe shërbehen nga vetë përdoruesi. Ja ku mund të merrni mbështetje:

• Pyetje, diskutime, këshilla: Përdorni faqet e modeleve në Hugging Face për t’u angazhuar me komunitetin.

• Defekte të riprodhueshme në kodin referencë të inferencës të OpenAI: Hapni një çështje në depon e GitHub të gpt-oss.

• Probleme me një runtime të palës së tretë (p.sh., vLLM, Ollama, llama.cpp): Përdorni gjurmuesin e çështjeve, forumet ose procesin e mbështetjes të projektit përkatës.

OpenAI nuk ofron asistencë, zbatim praktik ose mbështetje për korrigjim gabimesh për asnjë konfigurim, mjedis apo aplikacion me pesha të hapura të hostuar vetë ose nga palë të treta.

Do të vazhdojmë të përsërisim me komunitetin për të përmirësuar mjetet e hapura të sigurisë, përfshirë përmes ROOST Model Community (RMC). RMC bashkon praktikues dhe studiues të sigurisë për të ndarë praktikat më të mira për zbatimin e modeleve AI me burim të hapur në rrjedhat e punës së sigurisë, përfshirë rezultatet e vlerësimit dhe komentet për modelet. Vizitoni depon RMC në GitHub për të mësuar më shumë rreth këtij partneriteti dhe si të përfshiheni.

Mbështetja dhe komuniteti

Implementimet me pesha të hapura menaxhohen dhe shërbehen nga vetë përdoruesi. Ja ku mund të merrni mbështetje:

• Pyetje, diskutime, këshilla: Përdorni faqet e modeleve në Hugging Face për t’u angazhuar me komunitetin.

• Defekte të riprodhueshme në kodin referencë të inferencës të OpenAI: Hapni një çështje në depon e GitHub të gpt-oss.

• Probleme me një runtime të palës së tretë (p.sh., vLLM, Ollama, llama.cpp): Përdorni gjurmuesin e çështjeve, forumet ose procesin e mbështetjes të projektit përkatës.

OpenAI nuk ofron asistencë, zbatim praktik ose mbështetje për korrigjim gabimesh për asnjë konfigurim, mjedis apo aplikacion me pesha të hapura të hostuar vetë ose nga palë të treta.

Privatësia dhe siguria

Privatësia dhe të dhënat

Këto modele janë projektuar të funksionojnë në infrastrukturën që kontrolloni ju (në ambientet tuaja ose në cloud-in tuaj apo te partneri juaj i hostimit). OpenAI nuk i merr dhe nuk i përpunon të dhënat që u dërgoni këtyre modeleve të vetë-hostuara, përveçse nëse i ndani shprehimisht me OpenAI, ose përdorni një nga partnerët tanë të menaxhuar të hostimit.

Siguria

Këto modele iu nënshtruan trajnimit dhe testimit të gjerë të sigurisë. Për më shumë hollësi, shihni kartën tonë të modelit dhe raportin teknik.

Raportimi i shkeljeve të përmbajtjes

Nëse besoni se përmbajtja e gjeneruar me modelet gpt‑oss shkel politikat tona, mund ta raportoni përmes formularit tonë Raporto përmbajtjen. Ju lutemi jepni sa më shumë hollësi që të jetë e mundur për të ndihmuar ekipin tonë të shqyrtojë paraqitjen tuaj.

Pyetje të shpeshta

A janë këto modele falas?

Peshat e modelit gpt-oss mund të shkarkohen dhe përdoren falas sipas licencës Apache 2.0 dhe politikës së përdorimit të gpt-oss. Megjithatë, ju jeni përgjegjës për çdo kosto të lidhur me ekzekutimin e tyre — si llogaritja, ruajtja ose tarifat e hostimit nga palë të treta. Çmimi për këto do të varet nga infrastruktura ose ofruesi që zgjidhni.

A janë këto modele “me burim të hapur”?

Ne përdorim termin modele të hapura ose me pesha të hapura për të treguar se peshat e trajnuara janë publikisht të disponueshme sipas licencës lejuese Apache 2.0 dhe politikës së përdorimit të gpt-oss. Kjo do të thotë se mund t’i shkarkoni modelet, t’i ekzekutoni në infrastrukturën tuaj ose me korniza hostimi të mbështetura, dhe t’i personalizoni ose rregulloni imët.

Modelet e hapura u japin zhvilluesve dhe organizatave më shumë kontroll dhe fleksibilitet. Mund të zgjidhni ku t’i hostoni, t’i përshtatni modelet për raste specifike përdorimi dhe të përfitoni nga licencimi që lejon përdorim, modifikim dhe rishpërndarje të gjerë. Ndërsa peshat e trajnuara janë të hapura, një pjesë e infrastrukturës ose mjeteve përreth mund të mbetet pronësore për ofruesit e tyre.

A mund t’u qasem këtyre modeleve përmes OpenAI API ose ChatGPT?

Jo. Këto modele nuk ofrohen në OpenAI API dhe nuk shfaqen në ChatGPT.

A mund t’i rregulloj imët modelet?

Po. Mund të bëni rregullim të imët duke përdorur mjete me burim të hapur dhe infrastrukturën tuaj të preferuar. Nuk ofrojmë rregullim të imët për këto modele përmes API-ve të OpenAI.

A janë modelet me pesha të hapura më të lira se përdorimi i API-së?

Kostot ndryshojnë sipas infrastrukturës, ngarkesës së punës dhe qasjes operacionale. Vetë-hostimi mund të jetë më i lirë në disa raste, ndërsa Platforma jonë API mund të jetë më efikase kur merren parasysh hostimi, mirëmbajtja dhe përmirësimet.

Çfarë veçorish mbështesin këto modele?

Këto modele janë aktualisht modele arsyetimi vetëm për tekst. Runtime-et e zakonshme mbështesin transmetimin, thirrje funksioni dhe outpute të strukturuara. Kontrolloni dokumentacionin e runtime-it tuaj për aftësitë e sakta.

Si ndryshon kjo nga ModAPI?

Ky është një model arsyetimi shumë i aftë që ju lejon të sillni politikën tuaj. Mund të punojë së bashku me ModAPI, por ka të ngjarë të mos jetë zëvendësim për raste përdorimi me vonesë të ulët.