Pārskats

Iepazīstinām ar diviem spriestspējas modeļiem ar atvērtiem svariem: gpt‑oss‑120b un gpt‑oss‑20b. Tie darbojas jūsu kontrolētā infrastruktūrā vai ar mitināšanas pakalpojumu sniedzēju starpniecību.

Kāpēc atvērti svari

• Izvēle un kontrole: palaidiet modeļus uz vietas vai savā privātajā mākonī, saglabājiet datu rezidences vietu un pielāgojiet veiktspēju savām vajadzībām.

• Pielāgošana: precizējiet vai pielāgojiet modeļus ar sev vēlamajiem atvērtajiem rīkiem.

Pieejamība un licencēšana

• Licence: Apache 2.0 ļauj plašu lietošanu, modificēšanu un tālāku izplatīšanu, tostarp komerciālu lietošanu (saskaņā ar mūsu gpt-oss lietošanas politiku).

• Apkalpošana: nav pieejami caur OpenAI API, tāpēc API cenas un darbības ierobežojumi nav piemērojami.

• Saderība: var palaist ar bieži lietotiem atvērtiem izsecināšanas stekiem, piemēram, vLLM, Ollama, llama.cpp, un mākoņa vai pašpārvaldītās GPU vidēs.

Darba sākšana

Lai iegūtu modeļa svarus un saistītos resursus, varat:

• Apmeklēt gpt-oss vietni, lai skatītu pārskatu un tiešās saites.

• Lejupielādēt svarus no Hugging Face kolekcijas — kopienas centra, kur varat atrast abus modeļus, skatīt lietošanas piemērus un pēc izvēles veikt inferenci tieši ar Hugging Face pakalpojumiem.

• Piekļūt mūsu GitHub repozitorijam, kurā pieejams inferenču atsauces kods.

• Izmantot OpenAI recepšu ceļvežus, lai veiktu iestatīšanu ar atbalstītām izpildvidēm, piemēram, Ollama, vLLM un Transformers. Sadaļā “Receptes” ir arī detalizēti norādījumi par lokālu palaišanu, izplatītu izpildvidu izmantošanu un — ja tas tiek atbalstīts — gpt-oss modeļu papildu apmācību.

gpt‑oss‑safeguard (izpētes priekšskatījums)

gpt‑oss‑safeguard ir divi uz gpt‑oss pamata veidoti atvērto svaru drošības spriestspējas modeļi. Tie ir paredzēti uz politiku balstītai drošības klasifikācijai un saistītiem uzticamības un drošības uzdevumiem, kurus izpildāt savā pārvaldītajā infrastruktūrā. Tāpat kā citi gpt‑oss modeļi, arī šie svari nav pieejami, izmantojot OpenAI API vai ChatGPT.

• Tikai tekstam paredzēti modeļi ar strukturēto rezultātu shēmu paraugiem (piemēram, politikas vērtējums un pamatojums).

• Izmantojiet savu politiku: modelis interpretē jūsu rakstisko politiku, lai to ar minimāliem inženiertehniskiem pielāgojumiem varētu izmantot dažādos produktos.

• Pamatoti lēmumi: pēc izvēles pieejami spriešanas gaitas pieraksti, kas atvieglo atkļūdošanu un auditus (paredzēti izstrādātājiem un drošības speciālistiem, nevis rādīšanai galalietotājiem).

• Regulējams spriestspējas līmenis: izvēlieties Zemu, Vidēju vai Augstu līmeni, līdzsvarojot aizkavi un analīzes dziļumu.

• Licence: Apache 2.0 (skatiet tālāk sadaļu Pieejamība un licencēšana).

gpt‑oss‑safeguard ir labi piemērots LLM ievades un izvades filtrēšanai, tiešsaistes satura marķēšanai, kā arī bezsaistes pakešmarķēšanas vai pārskatīšanas darbplūsmām. Vispārīgiem lietojumiem (tērzēšanai, aģentiem utt.) iesakām gpt‑oss pamatmodeļus.

Varat pielāgot shēmu savām vajadzībām. Uzvedņu veidošanas pamācības un piemērus skatiet OpenAI Cookbook.

Modeļu varianti un izmēri

Abi modeļi ir papildus apmācīti no gpt‑oss bez arhitektūras izmaiņām. Tie izmanto to pašu tērzēšanas veidni kā gpt‑oss; varat saglabāt esošo konfigurāciju. Ieteicamais uzvedņu modelis ir politiku ievietot izstrādātāja ziņojumā, bet novērtējamo saturu — lietotāja ziņojumā.

Atbalsts un kopiena

Izvietojumi ar atvērtiem svariem tiek pārvaldīti un apkalpoti patstāvīgi. Lūk, kur saņemt atbalstu:

• Jautājumi, diskusijas, padomi: izmantojiet Hugging Face modeļu lapas, lai iesaistītos kopienā.

• Reproducējamas kļūdas OpenAI atsauces izsecināšanas kodā: atveriet problēmas pieteikumu gpt-oss GitHub repozitorijā.

• Problēmas ar trešās puses izpildlaiku (piem., vLLM, Ollama, llama.cpp): izmantojiet attiecīgā projekta problēmu izsekošanas sistēmu, forumus vai atbalsta procesu.

OpenAI nesniedz palīdzību, praktisku ieviešanu vai atkļūdošanas atbalstu jebkādiem pašmitinātiem vai trešo pušu mitinātiem atvērtu svaru uzstādījumiem, konfigurācijām, vidēm vai lietojumprogrammām.

Mēs turpināsim sadarboties ar kopienu, lai uzlabotu atvērtos drošības rīkus, tostarp caur ROOST Model Community (RMC). RMC apvieno drošības speciālistus un pētniekus, lai kopīgotu labāko praksi atvērtā pirmkoda AI modeļu ieviešanai drošības darbplūsmās, tostarp vērtēšanas rezultātus un atsauksmes par modeļiem. Apmeklējiet RMC GitHub repozitoriju, lai uzzinātu vairāk par šo partnerību un to, kā iesaistīties.

Atbalsts un kopiena

Izvietojumi ar atvērtiem svariem tiek pārvaldīti un apkalpoti patstāvīgi. Lūk, kur saņemt atbalstu:

• Jautājumi, diskusijas, padomi: izmantojiet Hugging Face modeļu lapas, lai iesaistītos kopienā.

• Reproducējamas kļūdas OpenAI atsauces izsecināšanas kodā: atveriet problēmas pieteikumu gpt-oss GitHub repozitorijā.

• Problēmas ar trešās puses izpildlaiku (piem., vLLM, Ollama, llama.cpp): izmantojiet attiecīgā projekta problēmu izsekošanas sistēmu, forumus vai atbalsta procesu.

OpenAI nesniedz palīdzību, praktisku ieviešanu vai atkļūdošanas atbalstu jebkādiem pašmitinātiem vai trešo pušu mitinātiem atvērtu svaru uzstādījumiem, konfigurācijām, vidēm vai lietojumprogrammām.

Privātums un drošība

Privātums un dati

Šie modeļi ir izstrādāti darbībai jūsu kontrolētā infrastruktūrā (uz vietas vai jūsu mākonī, vai pie mitināšanas partnera). OpenAI nesaņem un neapstrādā datus, ko sūtāt šiem pašmitinātajiem modeļiem, ja vien jūs tos nepārprotami nekopīgojat ar OpenAI vai neizmantojat kādu no mūsu pārvaldītajiem mitināšanas partneriem.

Drošība

Šie modeļi ir izgājuši plašu drošības apmācību un testēšanu. Plašāku informāciju skatiet mūsu modeļa kartē un tehniskajā ziņojumā.

Ziņošana par satura pārkāpumiem

Ja uzskatāt, ka ar gpt‑oss modeļiem ģenerēts saturs pārkāpj mūsu politikas, varat par to ziņot, izmantojot mūsu veidlapu Ziņot par saturu. Lūdzu, sniedziet pēc iespējas vairāk informācijas, lai palīdzētu mūsu komandai izskatīt jūsu iesniegumu.

BUJ

Vai šie modeļi ir bez maksas?

gpt-oss modeļa svari ir bez maksas lejupielādējami un izmantojami saskaņā ar Apache 2.0 licenci un gpt-oss lietošanas politiku. Tomēr jūs atbildat par jebkādām izmaksām, kas saistītas ar to darbināšanu, piemēram, skaitļošanu, krātuvi vai trešo pušu mitināšanas maksām. Šo pakalpojumu cenas būs atkarīgas no jūsu izvēlētās infrastruktūras vai pakalpojumu sniedzēja.

Vai šie modeļi ir „atvērtā pirmkoda”?

Mēs lietojam terminu atvērtie modeļi vai atvērti svari , lai norādītu, ka apmācītie svari ir publiski pieejami saskaņā ar atļaujošo Apache 2.0 licenci un gpt-oss lietošanas politiku. Tas nozīmē, ka varat lejupielādēt modeļus, palaist tos savā infrastruktūrā vai ar atbalstītām mitināšanas ietvarstruktūrām, kā arī pielāgot vai precizēt tos.

Atvērtie modeļi sniedz izstrādātājiem un organizācijām lielāku kontroli un elastību. Varat izvēlēties mitināšanas vietu, pielāgot modeļus konkrētiem lietošanas gadījumiem un izmantot licencēšanu, kas ļauj plašu lietošanu, modificēšanu un tālāku izplatīšanu. Lai gan apmācītie svari ir atvērti, daļa apkārtējās infrastruktūras vai rīku var palikt to nodrošinātāju īpašumtiesību programmatūra.

Vai varu piekļūt šiem modeļiem, izmantojot OpenAI API vai ChatGPT?

Nē. Šie modeļi netiek apkalpoti OpenAI API un nav redzami ChatGPT.

Vai es varu precizēt modeļus?

Jā. Varat veikt precizēšanu, izmantojot atvērtā pirmkoda rīkus un sev vēlamo infrastruktūru. Šiem modeļiem mēs nepiedāvājam precizēšanu caur OpenAI API.

Vai modeļi ar atvērtiem svariem ir lētāki nekā API izmantošana?

Izmaksas atšķiras atkarībā no infrastruktūras, darba slodzes un darbības pieejas. Dažos gadījumos pašmitināšana var būt lētāka, savukārt mūsu API platforma var būt efektīvāka, ja ņem vērā mitināšanu, uzturēšanu un jauninājumus.

Kādas funkcijas šie modeļi atbalsta?

Pašlaik šie modeļi ir tikai teksta spriestspējas modeļi. Bieži lietoti izpildlaiki atbalsta straumēšanu, funkcijas izsaukšanu un strukturētos rezultātus. Precīzās iespējas skatiet sava izpildlaika dokumentācijā.

Ar ko tas atšķiras no ModAPI?

Tas ir ļoti spējīgs spriestspējas modelis, kas ļauj jums izmantot savu politiku. Tas var darboties kopā ar ModAPI, bet, visticamāk, neaizstās to lietošanas gadījumos, kam vajadzīgs zems latentums.