Тойм

gpt‑oss‑120b болон gpt‑oss‑20b гэсэн хоёр нээлттэй жинтэй сэтгэн бодох загварыг танилцуулж байна. Тэдгээр нь таны хянадаг дэд бүтэц дээр эсвэл хостинг үйлчилгээ үзүүлэгчдээр дамжин ажиллана.

Яагаад нээлттэй жин гэж

• Сонголт ба хяналт: Загваруудыг дотооддоо эсвэл хувийн үүлэн орчиндоо ажиллуулж, өгөгдөл байршлын зохицуулалтыг хадгалж, гүйцэтгэлийг хэрэгцээндээ тохируулна уу.

• Өөрчлөн тохируулах: Өөрийн сонгосон нээлттэй хэрэгслээр загваруудыг fine‑tune хийх эсвэл тохируулна уу.

Хүртээмж ба лицензлэл

• Лиценз: Apache 2.0 нь арилжааны хэрэглээг оролцуулан өргөн хэрэглээ, өөрчлөлт, дахин түгээхийг зөвшөөрдөг (манай gpt-oss ашиглалтын бодлого-д захирагдана).

• Үйлчилгээ болгон ажиллуулах: OpenAI API-аар боломжгүй тул API үнэ болон хурдны хязгаар үйлчлэхгүй.

• Тохиромж: vLLM, Ollama, llama.cpp зэрэг түгээмэл нээлттэй inference stack-ууд, мөн үүлэн эсвэл өөрөө удирддаг GPU орчинд ажиллуулах боломжтой.

Эхлэх нь

Загварын жин болон дагалдах нөөцийг авахын тулд та дараах аргуудыг ашиглаж болно:

• Тойм мэдээлэл болон шууд холбоосуудыг үзэхийн тулд gpt-oss вэбсайтад зочилно уу.

• Загваруудын жинг Hugging Face цуглуулгаас татаж аваарай. Энэ нь хоёр загварыг олох, ашиглалтын жишээг үзэх, мөн хүсвэл Hugging Face-ийн үйлчилгээгээр шууд инференс ажиллуулах боломжтой олон нийтийн төв юм.

• Лавлагааны инференс кодыг манай GitHub репозиториос авна уу.

• Ollama, vLLM, Transformers зэрэг дэмжигдсэн ажиллуулах орчинд тохируулахдаа OpenAI Recipes дахь гарын авлагуудыг ашиглана уу. Recipes хэсэгт мөн локал орчинд ажиллуулах, түгээмэл ажиллуулах орчин ашиглах, дэмжигдсэн тохиолдолд gpt-oss загваруудыг нарийн тохируулах алхамчилсан заавар багтсан.

gpt‑oss‑safeguard (судалгааны урьдчилсан хувилбар)

gpt‑oss‑safeguard нь gpt‑oss дээр суурилсан, нээлттэй жинтэй аюулгүй байдлын сэтгэн бодох хоёр загвар юм. Эдгээр нь таны хянадаг дэд бүтцэд ажиллуулах бодлогод суурилсан аюулгүй байдлын ангилал болон итгэлцэл, аюулгүй байдлын холбогдох ажлуудад зориулагдсан. Бусад gpt‑oss загварын адил эдгээр жинг OpenAI API эсвэл ChatGPT-ээр дамжуулан ашиглах боломжгүй.

• Лавлагаа бүтцийн гаралтын схемтэй (жишээлбэл, бодлогын дүгнэлт, үндэслэл) зөвхөн текстээр ажилладаг загварууд.

• Өөрийн бодлогыг ашиглах: загвар нь таны бичсэн бодлогыг тайлбарлан ойлгодог тул инженерчлэлийн багахан ажлаар олон бүтээгдэхүүнд ерөнхийлөн хэрэглэж болно.

• Үндэслэлтэй шийдвэр: алдаа засах болон аудитад туслах нэмэлт сэтгэн бодох явцын мөрүүдтэй (эцсийн хэрэглэгчид харуулах бус, хөгжүүлэгчид болон аюулгүй байдлын мэргэжилтнүүдэд зориулагдсан).

• Тохируулах боломжтой сэтгэн бодох хүчин чармайлт: хариу өгөх хугацаа ба гүнзгийрүүлэлтийн тэнцвэрийг тохируулахын тулд бага / Дунд / Өндөр түвшнээс сонгоно.

• Лиценз: Apache 2.0 (доорх Хүртээмж ба лиценз хэсгийг үзнэ үү).

gpt‑oss‑safeguard нь LLM-ийн оролт/гаралтыг шүүх, онлайн контентыг шошголох, мөн офлайн багц шошгололт эсвэл хянан шалгах ажлын урсгалд тохиромжтой. Ерөнхий хэрэглээнд (чат, агент гэх мэт) үндсэн gpt‑oss загваруудыг санал болгож байна.

Схемийг хэрэгцээндээ тохируулан өөрчилж болно. Промпт бичих заавар болон жишээг OpenAI Cookbook-оос үзнэ үү.

Загварын хувилбарууд ба хэмжээ

Хоёр загварыг хоёуланг нь gpt‑oss дээр тулгуурлан, архитектур өөрчлөхгүйгээр нарийн тохируулсан. Тэд gpt‑oss-той ижил чат темплейт ашигладаг; одоогийн тохиргоогоо хэвээр үлдээж болно. Зөвлөмж болгож буй өгөгдөл өгөх хэв маяг нь бодлогоо developer message-д, үнэлэх агуулгаа user message-д байрлуулах явдал юм.

Дэмжлэг ба нийгэмлэг

Нээлттэй жинтэй байршуулалтыг өөрөө удирдаж, өөрөө үйлчилгээ үзүүлнэ. Дэмжлэг авах газрууд:

• Асуулт, хэлэлцүүлэг, зөвлөмж: Нийгэмлэгтэй харилцахын тулд Hugging Face загварын хуудсууд-ыг ашиглана уу.

• OpenAI-н лавлагаа inference код дахь дахин гаргаж болох алдаанууд: gpt-oss GitHub репо дээр issue нээнэ үү.

• Гуравдагч талын runtime-тэй холбоотой асуудлууд (жишээ нь vLLM, Ollama, llama.cpp): Тухайн төслийн issue tracker, форум эсвэл дэмжлэгийн процессыг ашиглана уу.

OpenAI нь өөрөө хостолсон эсвэл гуравдагч талаас хостолсон нээлттэй жинтэй аливаа тохиргоо, конфигурац, орчин, аппликейшнд туслалцаа, гардан хэрэгжүүлэлт эсвэл debugging дэмжлэг үзүүлэхгүй.

Бид ROOST Model Community (RMC)-ээр дамжуулан нээлттэй аюулгүй байдлын хэрэгслүүдийг сайжруулахын тулд нийгэмлэгтэй хамт үргэлжлүүлэн давтан сайжруулна. RMC нь аюулгүй байдлын workflow-д нээлттэй эхийн AI загваруудыг хэрэгжүүлэх шилдэг туршлагууд, үнэлгээний үр дүн болон загварын санал хүсэлтийг хуваалцахын тулд аюулгүй байдлын мэргэжилтнүүд, судлаачдыг нэгтгэдэг. Энэ түншлэлийн талаар болон хэрхэн оролцохыг мэдэхийн тулд RMC GitHub репо-д зочлоно уу.

Дэмжлэг ба нийгэмлэг

Нээлттэй жинтэй байршуулалтыг өөрөө удирдаж, өөрөө үйлчилгээ үзүүлнэ. Дэмжлэг авах газрууд:

• Асуулт, хэлэлцүүлэг, зөвлөмж: Нийгэмлэгтэй харилцахын тулд Hugging Face загварын хуудсууд-ыг ашиглана уу.

• OpenAI-н лавлагаа inference код дахь дахин гаргаж болох алдаанууд: gpt-oss GitHub репо дээр issue нээнэ үү.

• Гуравдагч талын runtime-тэй холбоотой асуудлууд (жишээ нь vLLM, Ollama, llama.cpp): Тухайн төслийн issue tracker, форум эсвэл дэмжлэгийн процессыг ашиглана уу.

OpenAI нь өөрөө хостолсон эсвэл гуравдагч талаас хостолсон нээлттэй жинтэй аливаа тохиргоо, конфигурац, орчин, аппликейшнд туслалцаа, гардан хэрэгжүүлэлт эсвэл debugging дэмжлэг үзүүлэхгүй.

Нууцлал ба аюулгүй байдал

Нууцлал ба өгөгдөл

Эдгээр загвар нь таны хянадаг дэд бүтэц дээр (дотооддоо эсвэл таны үүлэн орчин, хостинг түнш дээр) ажиллахаар зохион бүтээгдсэн. Та үүнийг OpenAI-тай ил тод хуваалцахгүй эсвэл манай удирдлагатай хостинг түншүүдийн нэгийг ашиглахгүй бол OpenAI эдгээр өөрөө хостолсон загваруудад илгээсэн таны өгөгдлийг хүлээн авахгүй, боловсруулахгүй.

Аюулгүй байдал

Эдгээр загварууд аюулгүй байдлын өргөн хүрээний сургалт, туршилтад хамрагдсан. Дэлгэрэнгүй мэдээллийг манай загварын карт болон техникийн тайлан-гаас үзнэ үү.

Контентын зөрчил мэдээлэх

Хэрэв та gpt‑oss загваруудаар үүсгэсэн контент манай бодлогыг зөрчсөн гэж үзвэл манай Контент мэдээлэх маягт-аар дамжуулан мэдээлж болно. Манай баг таны илгээсэн мэдээллийг хянахад туслахын тулд аль болох дэлгэрэнгүй мэдээлэл өгнө үү.

Түгээмэл асуултууд

Эдгээр загвар үнэгүй юу?

gpt-oss загварын жингүүдийг Apache 2.0 лиценз болон gpt-oss ашиглалтын бодлого-ын дагуу үнэгүй татаж авч, ашиглах боломжтой. Гэхдээ тэдгээрийг ажиллуулахтай холбоотой тооцоолол, хадгалалт, гуравдагч талын хостингийн төлбөр зэрэг аливаа зардлыг та өөрөө хариуцна. Эдгээрийн үнэ таны сонгосон дэд бүтэц эсвэл үйлчилгээ үзүүлэгчээс хамаарна.

Эдгээр загвар «нээлттэй эхтэй» юу?

Бид сургасан жинүүд нь зөвшөөрөл өргөн Apache 2.0 лиценз болон gpt-oss ашиглалтын бодлого-ын дагуу нийтэд нээлттэй гэдгийг илэрхийлэхийн тулд нээлттэй загварууд эсвэл нээлттэй жинтэй гэсэн нэр томъёог ашигладаг. Энэ нь та загваруудыг татаж авч, өөрийн дэд бүтэц дээр эсвэл дэмжигдсэн хостинг framework-үүдээр ажиллуулж, өөрчлөн тохируулах эсвэл fine-tune хийх боломжтой гэсэн үг.

Нээлттэй загварууд хөгжүүлэгчид болон байгууллагуудад илүү их хяналт, уян хатан байдал олгодог. Та хаана хостлохоо сонгож, загваруудыг тодорхой хэрэглээний тохиолдолд тохируулж, өргөн хэрэглээ, өөрчлөлт, дахин түгээхийг зөвшөөрдөг лицензийн давуу талыг ашиглах боломжтой. Сургасан жинүүд нээлттэй боловч зарим дагалдах дэд бүтэц эсвэл хэрэгсэл нь үйлчилгээ үзүүлэгчдийнхээ өмчийн хэвээр байж болно.

Би эдгээр загварт OpenAI API эсвэл ChatGPT-ээр хандаж болох уу?

Үгүй. Эдгээр загвар OpenAI API-д үйлчилгээ болгон ажиллахгүй бөгөөд ChatGPT-д харагдахгүй.

Би загваруудыг fine‑tune хийж болох уу?

Тийм. Та нээлттэй эхийн хэрэгслүүд болон өөрийн сонгосон дэд бүтцийг ашиглан fine‑tune хийж болно. Бид эдгээр загварт OpenAI API-уудаар дамжуулан fine‑tuning санал болгодоггүй.

Нээлттэй жинтэй загварууд API ашиглахаас хямд уу?

Зардал нь дэд бүтэц, ажлын ачаалал, үйл ажиллагааны арга барилаас хамааран өөр өөр байна. Зарим тохиолдолд өөрөө хостлох нь хямд байж болох ч хостинг, засвар үйлчилгээ, шинэчлэлтийг тооцвол манай API Platform илүү үр ашигтай байж болно.

Эдгээр загвар ямар боломжуудыг дэмждэг вэ?

Эдгээр загвар одоогоор зөвхөн текстийн сэтгэн бодох загварууд юм. Түгээмэл runtime-ууд streaming, функц дуудах, бүтцийн гаралтыг дэмждэг. Яг ямар боломжтойг мэдэхийн тулд runtime-ынхаа баримтжуулалтыг шалгана уу.

Энэ нь ModAPI-ээс юугаараа ялгаатай вэ?

Энэ нь өөрийн бодлогоо авчрах боломж олгодог өндөр чадвартай сэтгэн бодох загвар юм. Энэ нь ModAPI-тэй хамтран ажиллаж чадна, гэхдээ бага саатал шаардсан хэрэглээний тохиолдлуудад орлуулалт болох магадлал бага.