Ħarsa ġenerali

Nintroduċu żewġ mudelli tar-raġunament b’piżijiet miftuħa: gpt‑oss‑120b u gpt‑oss‑20b. Jaħdmu fuq infrastruttura li tikkontrolla int, jew permezz ta’ fornituri tal-hosting.

Għaliex piżijiet miftuħa

• Għażla u kontroll: Ħaddem mudelli on-premises jew fil-cloud privat tiegħek, żomm ir-residenza tad-dejta, u adattahom għall-prestazzjoni li teħtieġ.

• Personalizzazzjoni: Agħmel fine-tuning jew adatta l-mudelli bl-għodod miftuħa preferuti tiegħek.

Disponibbiltà u liċenzjar

• Liċenzja: Apache 2.0 tippermetti użu, modifika, u ridistribuzzjoni wiesgħa, inkluż użu kummerċjali (soġġett għall-politika tal-użu tagħna ta’ gpt-oss).

• Servizz: Mhux disponibbli permezz tal-OpenAI API, għalhekk il-prezzijiet tal-API u l-limiti tal-veloċità ma japplikawx.

• Kompatibbiltà: Jista’ jitħaddem b’stacks komuni ta’ inferenza miftuħa bħal vLLM, Ollama, llama.cpp, u fuq ambjenti GPU fil-cloud jew immaniġġjati minnek stess.

Kif tibda

Biex tikseb il-piżijiet tal-mudell u r-riżorsi ta’ appoġġ, tista’:

• Żur is-sit web ta’ gpt-oss għal ħarsa ġenerali u links diretti.

• Niżżel il-piżijiet mill-kollezzjoni ta’ Hugging Face — ċentru komunitarju fejn tista’ ssib iż-żewġ mudelli, tara eżempji tal-użu u, jekk trid, tħaddem l-inferenza direttament permezz tas-servizzi ta’ Hugging Face.

• Aċċessa r-repożitorju tagħna fuq GitHub għal kodiċi ta’ referenza għall-inferenza.

• Uża l-gwidi fir-Riċetti ta’ OpenAI biex tikkonfigura ambjenti ta’ eżekuzzjoni appoġġjati bħal Ollama, vLLM u Transformers. Ir-Riċetti jinkludu wkoll istruzzjonijiet pass pass biex tħaddem il-mudelli lokalment, tuża ambjenti ta’ eżekuzzjoni komuni u—fejn ikun appoġġjat—tirfina l-mudelli gpt-oss.

gpt‑oss‑safeguard (verżjoni preliminari għar-riċerka)

gpt‑oss‑safeguard huwa par mudelli tar-raġunament dwar is-sikurezza b’piżijiet miftuħa mibnija fuq gpt‑oss. Huma mfassla għall-klassifikazzjoni tas-sikurezza bbażata fuq il-politika u għal kompiti relatati mal-fiduċja u s-sikurezza li tħaddem fuq infrastruttura taħt il-kontroll tiegħek. Bħal mudelli oħra ta’ gpt‑oss, dawn il-piżijiet mhumiex offruti permezz tal-API ta’ OpenAI jew ta’ ChatGPT.

• Mudelli għat-test biss bi skemi ta’ referenza għal outputs strutturati (eż. deċiżjoni dwar il-politika, ġustifikazzjoni).

• Uża l-politika tiegħek: il-mudell jinterpreta l-politika miktuba tiegħek biex ikun jista’ jiġġeneralizza bejn prodotti differenti b’ħidma minima ta’ inġinerija.

• Deċiżjonijiet motivati: traċċi fakultattivi tar-raġunament biex jgħinu fid-dijanjostika tal-iżbalji u fl-awditi (maħsuba għall-iżviluppaturi u l-professjonisti tas-sikurezza, mhux biex jintwerew lill-utenti finali).

• Sforz tar-raġunament konfigurabbli: agħżel baxx / Medium / Għoli biex tibbilanċja d-dewmien mal-profondità.

• Liċenzja: Apache 2.0 (ara Disponibbiltà u liċenzjar hawn taħt).

gpt‑oss‑safeguard huwa adattat sew għall-iffiltrar tal-inputs u l-outputs tal-LLMs, it-tikkettar tal-kontenut online, u l-flussi tax-xogħol offline għat-tikkettar f’lottijiet jew għar-rieżami. Għal applikazzjonijiet ġenerali (chat, aġenti, eċċ.), nirrakkomandaw il-mudelli ewlenin ta’ gpt‑oss.

Tista’ tadatta l-iskemi għall-ħtiġijiet tiegħek. Jekk jogħġbok, irreferi għall-Ktieb tar-Riċetti ta’ OpenAI għal gwidi dwar il-ħolqien ta’ prompts u għal eżempji.

Varjanti u daqsijiet tal-mudell

Iż-żewġ mudelli huma rfinati minn gpt‑oss mingħajr tibdil fl-arkitettura. Jużaw l-istess mudell taċ-chat bħal gpt‑oss; tista’ żżomm is-setup eżistenti tiegħek. Mudell ta’ prompting rakkomandat huwa li tpoġġi l-politika tiegħek f’messaġġ tal-iżviluppatur u l-kontenut li għandu jiġi evalwat f’messaġġ tal-utent.

Appoġġ u komunità

Id-deployments b’piżijiet miftuħa huma mmaniġġjati u moqdija minnek stess. Hawn fejn tista’ tikseb appoġġ:

• Mistoqsijiet, diskussjoni, suġġerimenti: Uża l-paġni tal-mudelli ta’ Hugging Face biex tinvolvi ruħek mal-komunità.

• Bugs riproduċibbli fil-kodiċi ta’ inferenza ta’ referenza ta’ OpenAI: Iftaħ issue fir-repo ta’ GitHub ta’ gpt-oss.

• Problemi b’runtime ta’ parti terza (eż., vLLM, Ollama, llama.cpp): Uża t-tracker tal-issues, il-fora, jew il-proċess ta’ appoġġ tal-proġett rispettiv.

OpenAI ma tipprovdix għajnuna, implimentazzjoni prattika, jew appoġġ għad-debugging għal kwalunkwe setup, konfigurazzjoni, ambjent jew applikazzjoni b’piżijiet miftuħa ospitati minnek stess jew minn parti terza.

Se nkomplu niteraw mal-komunità biex intejbu l-għodod miftuħa tas-sikurezza, inkluż permezz tar-ROOST Model Community (RMC). L-RMC jiġbor flimkien prattikanti u riċerkaturi tas-sikurezza biex jaqsmu l-aħjar prattiki għall-implimentazzjoni ta’ mudelli tal-AI open source f’workflows tas-sikurezza, inklużi riżultati ta’ evalwazzjoni u feedback dwar il-mudell. Żur ir-repo ta’ GitHub tal-RMC biex titgħallem aktar dwar din is-sħubija u kif tinvolvi ruħek.

Appoġġ u komunità

Id-deployments b’piżijiet miftuħa huma mmaniġġjati u moqdija minnek stess. Hawn fejn tista’ tikseb appoġġ:

• Mistoqsijiet, diskussjoni, suġġerimenti: Uża l-paġni tal-mudelli ta’ Hugging Face biex tinvolvi ruħek mal-komunità.

• Bugs riproduċibbli fil-kodiċi ta’ inferenza ta’ referenza ta’ OpenAI: Iftaħ issue fir-repo ta’ GitHub ta’ gpt-oss.

• Problemi b’runtime ta’ parti terza (eż., vLLM, Ollama, llama.cpp): Uża t-tracker tal-issues, il-fora, jew il-proċess ta’ appoġġ tal-proġett rispettiv.

OpenAI ma tipprovdix għajnuna, implimentazzjoni prattika, jew appoġġ għad-debugging għal kwalunkwe setup, konfigurazzjoni, ambjent jew applikazzjoni b’piżijiet miftuħa ospitati minnek stess jew minn parti terza.

Privatezza u sikurezza

Privatezza u dejta

Dawn il-mudelli huma mfassla biex jaħdmu fuq infrastruttura li tikkontrolla int (on-premises jew fil-cloud tiegħek jew għand sieħeb tal-hosting). OpenAI ma tirċevix jew tipproċessa d-dejta li tibgħat lil dawn il-mudelli ospitati minnek stess sakemm ma taqsamhiex espliċitament ma’ OpenAI, jew tuża wieħed mis-sħab tagħna tal-hosting immaniġġjat.

Sikurezza

Dawn il-mudelli għaddew minn taħriġ u ttestjar estensiv tas-sikurezza. Għal aktar dettalji, ara l-skeda -mudell u r-rapport tekniku tagħna.

Rapportar ta’ ksur tal-kontenut

Jekk temmen li kontenut iġġenerat b’mudelli gpt‑oss jikser il-politiki tagħna, tista’ tirrapportah permezz tal-formola Rapport Content tagħna. Jekk jogħġbok ipprovdi kemm jista’ jkun dettalji biex tgħin lit-tim tagħna jirrevedi s-sottomissjoni tiegħek.

FAQ

Dawn il-mudelli huma b’xejn?

Il-piżijiet tal-mudell gpt-oss huma b’xejn biex jitniżżlu u jintużaw taħt il-liċenzja Apache 2.0 u l-politika tal-użu ta’ gpt-oss. Madankollu, inti responsabbli għal kwalunkwe spiża assoċjata mat-tħaddim tagħhom — bħal spejjeż tal-komputazzjoni, tal-ħażna jew tal-hosting minn partijiet terzi. L-ipprezzar għal dawn jiddependi fuq l-infrastruttura jew il-fornitur li tagħżel.

Dawn il-mudelli huma “open source”?

Aħna nużaw it-terminu mudelli miftuħa jew b’piżijiet miftuħa biex nindikaw li l-piżijiet imħarrġa huma disponibbli pubblikament taħt il-liċenzja permissiva Apache 2.0 u l-politika tal-użu ta’ gpt-oss. Dan ifisser li tista’ tniżżel il-mudelli, tħaddimhom fuq l-infrastruttura tiegħek stess jew b’oqfsa ta’ hosting appoġġjati, u tippersonalizzahom jew tagħmlilhom fine-tuning.

Il-mudelli miftuħa jagħtu lill-iżviluppaturi u lill-organizzazzjonijiet kontroll u flessibbiltà akbar. Tista’ tagħżel fejn tospita, tadatta l-mudelli għal każijiet ta’ użu speċifiċi, u tibbenefika minn liċenzjar li jippermetti użu, modifika, u ridistribuzzjoni wiesgħa. Filwaqt li l-piżijiet imħarrġa huma miftuħa, xi infrastruttura jew għodod relatati jistgħu jibqgħu proprjetarji tal-fornituri tagħhom.

Nista’ naċċessa dawn il-mudelli permezz tal-OpenAI API jew ChatGPT?

Le. Dawn il-mudelli mhumiex servuti fl-OpenAI API u ma jidhrux f’ChatGPT.

Nista’ nagħmel fine-tuning tal-mudelli?

Iva. Tista’ tagħmel fine-tuning billi tuża għodod open-source u l-infrastruttura preferuta tiegħek. Aħna ma noffrux fine-tuning permezz tal-APIs ta’ OpenAI għal dawn il-mudelli.

Il-mudelli b’piżijiet miftuħa huma orħos milli tuża l-API?

L-ispejjeż ivarjaw skont l-infrastruttura, il-volum tax-xogħol, u l-approċċ operattiv. L-ospitar minnek stess jista’ jkun orħos f’xi każijiet, filwaqt li l-Pjattaforma API tagħna tista’ tkun aktar effiċjenti meta jitqiesu l-hosting, il-manutenzjoni, u l-aġġornamenti.

Liema karatteristiċi jappoġġjaw dawn il-mudelli?

Dawn il-mudelli bħalissa huma mudelli tar-raġunament bit-test biss. Runtimes komuni jappoġġjaw streaming, sejħa għall-funzjoni, u outputs strutturati. Iċċekkja d-dokumentazzjoni tar-runtime tiegħek għall-kapaċitajiet eżatti.

Dan kif huwa differenti minn ModAPI?

Dan huwa mudell tar-raġunament b’kapaċità għolja li jippermettilek iġġib il-politika tiegħek stess. Jista’ jaħdem flimkien ma’ ModAPI, iżda x’aktarx mhux bħala sostitut għal każijiet ta’ użu b’latency baxxa.