Общ преглед

Представяме два модела със структурирано анализиране и отворени тегла: gpt‑oss‑120b и gpt‑oss‑20b. Те работят на инфраструктура, която контролирате, или чрез доставчици на хостинг.

Защо отворени тегла

• Избор и контрол: Изпълнявайте модели локално или във вашия частен облак, запазвайте местонахождението на данните и настройвайте производителността според нуждите си.

• Персонализиране: Настройвайте фино или адаптирайте моделите с предпочитаните от вас отворени инструменти.

Наличност и лицензиране

• Лиценз: Apache 2.0 позволява широка употреба, модификация и повторно разпространение, включително търговска употреба (при спазване на нашата политика за употреба на gpt-oss).

• Обслужване: Не е налично чрез OpenAI API, така че цените и лимитите на заявките за API не се прилагат.

• Съвместимост: Може да се изпълнява с често използвани отворени стекове за инференция като vLLM, Ollama, llama.cpp, както и в облачни или самостоятелно управлявани GPU среди.

Първи стъпки

За да получите теглата на модела и поддържащите ресурси, можете да:

• Посетите уебсайта на gpt-oss за общ преглед и директни връзки.

• Изтеглите теглата от колекцията в Hugging Face — общностен център, където можете да намерите и двата модела, да видите примери за употреба и по желание да изпълнявате инференция директно чрез услугите на Hugging Face.

• Осъществите достъп до нашето хранилище в GitHub за референтен код за инференция.

• Използвате ръководствата в OpenAI Cookbook за настройване с поддържани среди за изпълнение като Ollama, vLLM и Transformers. Cookbook включва и инструкции стъпка по стъпка за локално изпълнение, използване на често срещани среди за изпълнение и — където се поддържа — фина настройка на модели gpt‑oss.

gpt‑oss‑safeguard (изследователска предварителна версия)

gpt‑oss‑safeguard е двойка модели за безопасност със структурирано анализиране и отворени тегла, изградени върху gpt‑oss. Те са проектирани за класификация на безопасността на база политики и свързани задачи за доверие и безопасност, които изпълнявате на инфраструктура, която контролирате. Както и другите модели gpt‑oss, тези тегла не се предоставят чрез OpenAI API или ChatGPT.

• Модели само за текст с референтни схеми за структурирани изходни данни (напр. решение по политика, обосновка).

• Използвайте собствена политика: моделът интерпретира вашата писмена политика, за да може да обобщава между продукти с минимално инженерно усилие.

• Обосновани решения: незадължителни следи от структурирано анализиране за подпомагане на отстраняването на грешки и одитите (предназначени за разработчици и специалисти по безопасност, не за показване на крайни потребители).

• Конфигурируемо усилие за структурирано анализиране: изберете ниско / средно / високо, за да балансирате латентност и дълбочина.

• Лиценз: Apache 2.0 (вижте Наличност и лицензиране по-долу).

gpt‑oss‑safeguard е подходящ за филтриране на вход/изход за големи езикови модели, етикетиране на онлайн съдържание и офлайн пакетно етикетиране или работни процеси за преглед. За общи приложения (чат, Агенти и др.) препоръчваме основните модели gpt‑oss.

Можете да адаптирате схемата към нуждите си. Моля, вижте OpenAI Cookbook за ръководства относно подканите и примери.

Варианти и размери на моделите

| Модел | Предназначение | Бележки | | gpt‑oss‑safeguard‑120b | Производствена употреба, висококапацитетно структурирано анализиране за безопасност | 117B параметъра (≈5.1B активни). Проектиран да се побере на <br>единичен GPU с 80 GB<br> (напр. NVIDIA H100; работи и на GPU с по-голяма памет, като AMD MI300X). | | gpt‑oss‑safeguard‑20b | По-ниска латентност / ограничени среди | 21B параметъра (≈3.6B активни). |

И двата модела са фино настроени от gpt‑oss без промяна в архитектурата. Те използват същия шаблон за чат като gpt‑oss; можете да запазите съществуващата си настройка. Препоръчителен модел за подканване е да поставите политиката си в съобщение от разработчик, а съдържанието за оценка — в потребителско съобщение.

Поддръжка и общност

Внедряванията с отворени тегла се управляват и обслужват самостоятелно. Ето къде можете да получите поддръжка:

• Въпроси, обсъждане, съвети: Използвайте страниците на моделите в Hugging Face, за да се включите в общността.

• Възпроизводими грешки в референтния код за инференция на OpenAI: Отворете проблем в хранилището в GitHub на gpt-oss.

• Проблеми с runtime на трета страна (напр. vLLM, Ollama, llama.cpp): Използвайте системата за проследяване на проблеми, форумите или процеса за поддръжка на съответния проект.

OpenAI не предоставя съдействие, практическа помощ за внедряване или поддръжка за отстраняване на грешки за самостоятелно хоствани или хоствани от трети страни настройки, конфигурации, среди или приложения с отворени тегла.

Ще продължим да работим итеративно с общността за подобряване на отворените инструменти за безопасност, включително чрез ROOST Model Community (RMC). RMC обединява специалисти и изследователи в областта на безопасността, за да споделят най-добри практики за внедряване на AI модели с отворен код в работни процеси за безопасност, включително резултати от оценяване и обратна връзка за модели. Посетете хранилището на RMC в GitHub, за да научите повече за това партньорство и как да се включите.

Поддръжка и общност

Внедряванията с отворени тегла се управляват и обслужват самостоятелно. Ето къде можете да получите поддръжка:

• Въпроси, обсъждане, съвети: Използвайте страниците на моделите в Hugging Face, за да се включите в общността.

• Възпроизводими грешки в референтния код за инференция на OpenAI: Отворете проблем в хранилището в GitHub на gpt-oss.

• Проблеми с runtime на трета страна (напр. vLLM, Ollama, llama.cpp): Използвайте системата за проследяване на проблеми, форумите или процеса за поддръжка на съответния проект.

OpenAI не предоставя съдействие, практическа помощ за внедряване или поддръжка за отстраняване на грешки за самостоятелно хоствани или хоствани от трети страни настройки, конфигурации, среди или приложения с отворени тегла.

Поверителност и безопасност

Поверителност и данни

Тези модели са проектирани да работят на инфраструктура, която контролирате (локално, във вашия облак или при хостинг партньор). OpenAI не получава и не обработва данните, които изпращате към тези самостоятелно хоствани модели, освен ако изрично не ги споделите с OpenAI или не използвате някой от нашите управлявани хостинг партньори.

Безопасност

Тези модели преминаха обширно обучение и тестване за безопасност. За повече подробности вижте нашата карта на модела и технически доклад.

Докладване на нарушения в съдържанието

Ако смятате, че съдържание, генерирано с модели gpt‑oss, нарушава нашите политики, можете да го докладвате чрез нашия формуляр за докладване на съдържание. Моля, предоставете възможно най-много подробности, за да помогнете на екипа ни да прегледа вашето подаване.

ЧЗВ

Безплатни ли са тези модели?

Теглата на моделите gpt-oss са безплатни за изтегляне и използване под лиценза Apache 2.0 и политиката за употреба на gpt-oss. Въпреки това вие отговаряте за всички разходи, свързани с изпълнението им — като изчисления, съхранение или такси за хостинг от трети страни. Ценообразуването за тях ще зависи от избраната от вас инфраструктура или доставчик.

Тези модели „с отворен код“ ли са?

Използваме термина open models или с отворени тегла , за да посочим, че обучените тегла са публично достъпни под разрешителния лиценз Apache 2.0 и политиката за употреба на gpt-oss. Това означава, че можете да изтеглите моделите, да ги изпълнявате на собствена инфраструктура или с поддържани хостинг рамки и да ги персонализирате или настройвате фино.

Open models дават на разработчиците и организациите по-голям контрол и гъвкавост. Можете да избирате къде да хоствате, да адаптирате моделите за конкретни случаи на употреба и да се възползвате от лицензиране, което позволява широка употреба, модификация и повторно разпространение. Въпреки че обучените тегла са отворени, част от околната инфраструктура или инструменти може да останат собственически за своите доставчици.

Мога ли да получа достъп до тези модели чрез OpenAI API или ChatGPT?

Не. Тези модели не се предоставят в OpenAI API и не се появяват в ChatGPT.

Мога ли да настройвам моделите фино?

Да. Можете да извършвате фина настройка с инструменти с отворен код и предпочитаната от вас инфраструктура. Не предлагаме фина настройка чрез API на OpenAI за тези модели.

По-евтини ли са моделите с отворени тегла от използването на API?

Разходите варират според инфраструктурата, работното натоварване и оперативния подход. Самостоятелното хостване може да е по-евтино в някои случаи, докато нашата API платформа може да е по-ефективна, когато се вземат предвид хостингът, поддръжката и надстройките.

Какви функции поддържат тези модели?

В момента тези модели са модели със структурирано анализиране само за текст. Често използваните среди за изпълнение поддържат стрийминг, извикване на функция и структурирани изходни данни. Проверете документацията на вашата среда за изпълнение за точните възможности.

По какво се различава това от ModAPI?

Това е високоспособен модел със структурирано анализиране, който ви позволява да използвате собствена политика. Той може да работи съвместно с ModAPI, но вероятно не е заместител за случаи на употреба с ниска латентност.