Pārskats

Iepazīstinām ar diviem spriestspējas modeļiem ar atvērtiem svariem: gpt‑oss‑120b un gpt‑oss‑20b. Tie darbojas jūsu kontrolētā infrastruktūrā vai ar mitināšanas pakalpojumu sniedzēju starpniecību.

Kāpēc atvērti svari

• Izvēle un kontrole: palaidiet modeļus uz vietas vai savā privātajā mākonī, saglabājiet datu rezidences vietu un pielāgojiet veiktspēju savām vajadzībām.

• Pielāgošana: precizējiet vai pielāgojiet modeļus ar sev vēlamajiem atvērtajiem rīkiem.

Pieejamība un licencēšana

• Licence: Apache 2.0 ļauj plašu lietošanu, modificēšanu un tālāku izplatīšanu, tostarp komerciālu lietošanu (saskaņā ar mūsu gpt-oss lietošanas politiku).

• Apkalpošana: nav pieejami caur OpenAI API, tāpēc API cenas un darbības ierobežojumi nav piemērojami.

• Saderība: var palaist ar bieži lietotiem atvērtiem izsecināšanas stekiem, piemēram, vLLM, Ollama, llama.cpp, un mākoņa vai pašpārvaldītās GPU vidēs.

Darba sākšana

Lai iegūtu modeļu svarus un atbalsta resursus, varat:

• Apmeklēt gpt-oss tīmekļa vietni, lai skatītu pārskatu un tiešās saites.

• Lejupielādēt svarus no Hugging Face kolekcijas — kopienas centra, kur varat atrast abus modeļus, skatīt lietošanas piemērus un pēc izvēles palaist izsecināšanu tieši ar Hugging Face pakalpojumiem.

• Piekļūt mūsu GitHub repozitorijam, lai iegūtu atsauces izsecināšanas kodu.

• Izmantot ceļvežus OpenAI Cookbook, lai veiktu iestatīšanu ar atbalstītiem izpildlaikiem, piemēram, Ollama, vLLM un Transformers. Cookbook ietver arī soli pa solim sniegtas instrukcijas lokālai palaišanai, bieži lietotu izpildlaiku izmantošanai un — kur tas tiek atbalstīts — gpt‑oss modeļu precizēšanai.

gpt‑oss‑safeguard (izpētes priekšskatījums)

gpt‑oss‑safeguard ir divu drošības spriestspējas modeļu ar atvērtiem svariem pāris, kas veidots uz gpt‑oss pamata. Tie ir paredzēti uz politikām balstītai drošības klasifikācijai un saistītiem uzticamības & drošības uzdevumiem, ko palaižat savā kontrolētā infrastruktūrā. Tāpat kā citi gpt‑oss modeļi, šie svari netiek nodrošināti caur OpenAI API vai ChatGPT.

• Tikai teksta modeļi ar atsauces strukturēto rezultātu shēmām (piem., politikas verdikts, pamatojums).

• Izmantojiet savu politiku: modelis interpretē jūsu rakstisko politiku, lai tas varētu vispārināt dažādiem produktiem ar minimālu inženierdarbu.

• Pamatoti lēmumi: izvēles spriestspējas pēdas atkļūdošanai un auditiem (paredzētas izstrādātājiem un drošības speciālistiem, nevis rādīšanai galalietotājiem).

• Konfigurējama spriestspējas piepūle: izvēlieties zemu / vidēju / augstu līmeni, lai līdzsvarotu latentumu un dziļumu.

• Licence: Apache 2.0 (skatiet tālāk sadaļu Pieejamība un licencēšana).

gpt‑oss‑safeguard ir labi piemērots LVM ievades/izvades filtrēšanai, tiešsaistes satura marķēšanai un bezsaistes pakešveida marķēšanas vai pārskatīšanas darbplūsmām. Vispārīgām lietojumprogrammām (tērzēšanai, aģentiem u. c.) iesakām pamata gpt‑oss modeļus.

Shēmu varat pielāgot savām vajadzībām. Norādījumus par uzvedņu veidošanu un piemērus skatiet OpenAI Cookbook.

Modeļu varianti un izmēri

Abi modeļi ir papildus apmācīti no gpt‑oss bez arhitektūras izmaiņām. Tie izmanto to pašu tērzēšanas veidni kā gpt‑oss; varat saglabāt esošo konfigurāciju. Ieteicamais uzvedņu modelis ir politiku ievietot izstrādātāja ziņojumā, bet novērtējamo saturu — lietotāja ziņojumā.

Atbalsts un kopiena

Izvietojumi ar atvērtiem svariem tiek pārvaldīti un apkalpoti patstāvīgi. Lūk, kur saņemt atbalstu:

• Jautājumi, diskusijas, padomi: izmantojiet Hugging Face modeļu lapas, lai iesaistītos kopienā.

• Reproducējamas kļūdas OpenAI atsauces izsecināšanas kodā: atveriet problēmas pieteikumu gpt-oss GitHub repozitorijā.

• Problēmas ar trešās puses izpildlaiku (piem., vLLM, Ollama, llama.cpp): izmantojiet attiecīgā projekta problēmu izsekošanas sistēmu, forumus vai atbalsta procesu.

OpenAI nesniedz palīdzību, praktisku ieviešanu vai atkļūdošanas atbalstu jebkādiem pašmitinātiem vai trešo pušu mitinātiem atvērtu svaru uzstādījumiem, konfigurācijām, vidēm vai lietojumprogrammām.

Mēs turpināsim sadarboties ar kopienu, lai uzlabotu atvērtos drošības rīkus, tostarp caur ROOST Model Community (RMC). RMC apvieno drošības speciālistus un pētniekus, lai kopīgotu labāko praksi atvērtā pirmkoda AI modeļu ieviešanai drošības darbplūsmās, tostarp vērtēšanas rezultātus un atsauksmes par modeļiem. Apmeklējiet RMC GitHub repozitoriju, lai uzzinātu vairāk par šo partnerību un to, kā iesaistīties.

Atbalsts un kopiena

Izvietojumi ar atvērtiem svariem tiek pārvaldīti un apkalpoti patstāvīgi. Lūk, kur saņemt atbalstu:

• Jautājumi, diskusijas, padomi: izmantojiet Hugging Face modeļu lapas, lai iesaistītos kopienā.

• Reproducējamas kļūdas OpenAI atsauces izsecināšanas kodā: atveriet problēmas pieteikumu gpt-oss GitHub repozitorijā.

• Problēmas ar trešās puses izpildlaiku (piem., vLLM, Ollama, llama.cpp): izmantojiet attiecīgā projekta problēmu izsekošanas sistēmu, forumus vai atbalsta procesu.

OpenAI nesniedz palīdzību, praktisku ieviešanu vai atkļūdošanas atbalstu jebkādiem pašmitinātiem vai trešo pušu mitinātiem atvērtu svaru uzstādījumiem, konfigurācijām, vidēm vai lietojumprogrammām.

Privātums un drošība

Privātums un dati

Šie modeļi ir izstrādāti darbībai jūsu kontrolētā infrastruktūrā (uz vietas vai jūsu mākonī, vai pie mitināšanas partnera). OpenAI nesaņem un neapstrādā datus, ko sūtāt šiem pašmitinātajiem modeļiem, ja vien jūs tos nepārprotami nekopīgojat ar OpenAI vai neizmantojat kādu no mūsu pārvaldītajiem mitināšanas partneriem.

Drošība

Šie modeļi ir izgājuši plašu drošības apmācību un testēšanu. Plašāku informāciju skatiet mūsu modeļa kartē un tehniskajā ziņojumā.

Ziņošana par satura pārkāpumiem

Ja uzskatāt, ka ar gpt‑oss modeļiem ģenerēts saturs pārkāpj mūsu politikas, varat par to ziņot, izmantojot mūsu veidlapu Ziņot par saturu. Lūdzu, sniedziet pēc iespējas vairāk informācijas, lai palīdzētu mūsu komandai izskatīt jūsu iesniegumu.

BUJ

Vai šie modeļi ir bez maksas?

gpt-oss modeļa svari ir bez maksas lejupielādējami un izmantojami saskaņā ar Apache 2.0 licenci un gpt-oss lietošanas politiku. Tomēr jūs atbildat par jebkādām izmaksām, kas saistītas ar to darbināšanu, piemēram, skaitļošanu, krātuvi vai trešo pušu mitināšanas maksām. Šo pakalpojumu cenas būs atkarīgas no jūsu izvēlētās infrastruktūras vai pakalpojumu sniedzēja.

Vai šie modeļi ir „atvērtā pirmkoda”?

Mēs lietojam terminu atvērtie modeļi vai atvērti svari , lai norādītu, ka apmācītie svari ir publiski pieejami saskaņā ar atļaujošo Apache 2.0 licenci un gpt-oss lietošanas politiku. Tas nozīmē, ka varat lejupielādēt modeļus, palaist tos savā infrastruktūrā vai ar atbalstītām mitināšanas ietvarstruktūrām, kā arī pielāgot vai precizēt tos.

Atvērtie modeļi sniedz izstrādātājiem un organizācijām lielāku kontroli un elastību. Varat izvēlēties mitināšanas vietu, pielāgot modeļus konkrētiem lietošanas gadījumiem un izmantot licencēšanu, kas ļauj plašu lietošanu, modificēšanu un tālāku izplatīšanu. Lai gan apmācītie svari ir atvērti, daļa apkārtējās infrastruktūras vai rīku var palikt to nodrošinātāju īpašumtiesību programmatūra.

Vai varu piekļūt šiem modeļiem, izmantojot OpenAI API vai ChatGPT?

Nē. Šie modeļi netiek apkalpoti OpenAI API un nav redzami ChatGPT.

Vai es varu precizēt modeļus?

Jā. Varat veikt precizēšanu, izmantojot atvērtā pirmkoda rīkus un sev vēlamo infrastruktūru. Šiem modeļiem mēs nepiedāvājam precizēšanu caur OpenAI API.

Vai modeļi ar atvērtiem svariem ir lētāki nekā API izmantošana?

Izmaksas atšķiras atkarībā no infrastruktūras, darba slodzes un darbības pieejas. Dažos gadījumos pašmitināšana var būt lētāka, savukārt mūsu API platforma var būt efektīvāka, ja ņem vērā mitināšanu, uzturēšanu un jauninājumus.

Kādas funkcijas šie modeļi atbalsta?

Pašlaik šie modeļi ir tikai teksta spriestspējas modeļi. Bieži lietoti izpildlaiki atbalsta straumēšanu, funkcijas izsaukšanu un strukturētos rezultātus. Precīzās iespējas skatiet sava izpildlaika dokumentācijā.

Ar ko tas atšķiras no ModAPI?

Tas ir ļoti spējīgs spriestspējas modelis, kas ļauj jums izmantot savu politiku. Tas var darboties kopā ar ModAPI, bet, visticamāk, neaizstās to lietošanas gadījumos, kam vajadzīgs zems latentums.