OpenAI
此頁面由機器翻譯。查看原文英文文章

OpenAI 開放權重模型(gpt-oss)

了解 OpenAI 的開放權重模型(gpt-oss)及可在哪裡獲取支援

更新日期:22 days ago

注意:本文提供高層次概覽。技術設定資訊可於gpt-oss 網站GitHubHugging FaceOpenAI Cookbooks找到。

概覽

介紹兩款開放權重推理模型:gpt‑oss‑120b 和 gpt‑oss‑20b。它們可在您控制的基礎設施上運行,亦可透過託管供應商運行。

注意:這些模型不透過 OpenAI API 提供,亦不會在 ChatGPT 中提供。

為何採用開放權重

  • 選擇與控制:在內部部署或您的私有雲中運行模型、保留資料駐留,並按需要調整效能。

  • 自訂:使用您偏好的開放工具微調或調整模型。

供應情況與授權

  • 授權:Apache 2.0 容許廣泛使用、修改及再分發,包括商業用途(須遵守我們的 gpt-oss 使用政策)。

  • 服務提供:不透過 OpenAI API 提供,因此 API 價格及速率限制並不適用。

  • 相容性:可配合常見開放推理堆疊運行,例如 vLLM、Ollama、llama.cpp,以及在雲端或自行管理的 GPU 環境上運行。

開始使用

如要取得模型權重及支援資源,您可以:

  • 瀏覽 gpt-oss 網站,查看概覽及直接連結。

  • Hugging Face collection 下載權重 —— 這是一個社群中心,您可在此找到兩款模型、查看使用範例,並可選擇直接透過 Hugging Face 的服務運行推理。

  • 存取我們的 GitHub repo,取得參考推理程式碼。

  • 使用 OpenAI Cookbook 中的指南,配合 Ollama、vLLM 和 Transformers 等支援的 runtime 進行設定。Cookbook 亦包含逐步說明,涵蓋本機運行、使用常見 runtime,以及在受支援情況下微調 gpt‑oss 模型。

gpt‑oss‑safeguard(研究預覽版)

gpt‑oss‑safeguard 是一對建基於 gpt‑oss 的開放權重安全推理模型。它們專為基於政策的安全分類及相關信任與安全任務而設計,並在您控制的基礎設施上運行。與其他 gpt‑oss 模型一樣,這些權重不會透過 OpenAI API 或 ChatGPT 提供服務。

  • 具備參考結構化輸出結構定義的純文字模型(例如政策判定、理據)。

  • 自備政策:模型會解讀您撰寫的政策,讓它能以最少工程工作泛化至不同產品。

  • 經推理的決策:可選的推理軌跡有助除錯及審計(供開發人員及安全從業員使用,並非用於向最終用戶顯示)。

  • 可配置的推理投入:選擇低/中/高,以在延遲與深度之間取捨。

  • 授權:Apache 2.0(見下方供應情況與授權)。

gpt‑oss‑safeguard 適用於 LLM 的輸入/輸出過濾、網上內容標籤,以及離線批量標籤或審核工作流程。對於一般應用程式(聊天、智能代理等),我們建議使用核心 gpt‑oss 模型。

您可以按需要調整結構定義。有關提示詞編寫指南及範例,請參閱 OpenAI Cookbook

模型變體與規模

模型預期用途備註
gpt‑oss‑safeguard‑120b生產環境、高容量安全推理117B 參數(約 5.1B 個啟用)。設計上可放入

單張 80 GB GPU
(例如 NVIDIA H100;亦可在 AMD MI300X 等較大記憶體 GPU 上運行)。
gpt‑oss‑safeguard‑20b較低延遲/受限環境21B 參數(約 3.6B 個啟用)。

兩款模型均由 gpt‑oss 微調而成,架構沒有變更。它們使用與 gpt‑oss 相同的聊天範本;您可以保留現有設定。建議的提示詞模式是將政策放在開發人員訊息中,並將要評估的內容放在用戶訊息中。

支援與社群

開放權重部署由用戶自行管理及自行支援。您可從以下途徑取得支援:

  • 問題、討論、提示:使用 Hugging Face 模型頁面與社群交流。

  • OpenAI 參考推理程式碼中的可重現錯誤:在 gpt-oss GitHub repo 提出 issue。

  • 第三方 runtime 的問題(例如 vLLM、Ollama、llama.cpp):使用相應專案的 issue tracker、論壇或支援流程。

OpenAI 不會為任何自行託管或第三方託管的開放權重設定、配置、環境或應用程式提供協助、實作支援或除錯支援。

我們會繼續與社群反覆改進開放安全工具,包括透過 ROOST Model Community (RMC) 推動。RMC 匯聚安全從業員及研究人員,分享將開源 AI 模型實作到安全工作流程中的最佳做法,包括評估結果及模型回饋。瀏覽 RMC GitHub repo,進一步了解這項合作及參與方式。

支援與社群

開放權重部署由用戶自行管理及自行支援。您可從以下途徑取得支援:

  • 問題、討論、提示:使用 Hugging Face 模型頁面與社群交流。

  • OpenAI 參考推理程式碼中的可重現錯誤:在 gpt-oss GitHub repo 提出 issue。

  • 第三方 runtime 的問題(例如 vLLM、Ollama、llama.cpp):使用相應專案的 issue tracker、論壇或支援流程。

OpenAI 不會為任何自行託管或第三方託管的開放權重設定、配置、環境或應用程式提供協助、實作支援或除錯支援。

私隱與安全

私隱與資料

這些模型設計為在您控制的基礎設施上運行(內部部署,或在您的雲端或託管合作夥伴上)。除非您明確與 OpenAI 分享資料,或使用我們其中一個受管理託管合作夥伴,否則 OpenAI 不會接收或處理您傳送至這些自行託管模型的資料。

安全

這些模型已接受廣泛的安全訓練與測試。詳情請參閱我們的模型說明卡技術報告

舉報內容違規

如果您認為使用 gpt‑oss 模型生成的內容違反我們的政策,可以透過我們的舉報內容表格作出舉報。請提供盡可能詳細的資料,以協助我們的團隊審核您的提交。

常見問題

這些模型免費嗎?

gpt-oss 模型權重可在 Apache 2.0 授權及 gpt-oss 使用政策下免費下載及使用。不過,您需自行負責運行這些模型所涉及的任何成本,例如運算、儲存或第三方託管費用。這些項目的價格將視乎您選擇的基礎設施或供應商而定。

這些模型是「開源」嗎?

我們使用開放模型開放權重一詞,表示已訓練權重可在寬鬆的 Apache 2.0 授權及 gpt-oss 使用政策下公開取得。這表示您可以下載模型,在自己的基礎設施或受支援的託管框架上運行,並可自訂或微調它們。

開放模型讓開發人員及機構擁有更大的控制權與彈性。您可以選擇託管位置、因應特定使用案例調整模型,並受惠於容許廣泛使用、修改及再分發的授權。雖然已訓練權重是開放的,但部分周邊基礎設施或工具仍可能屬其供應商專有。

我可以透過 OpenAI API 或 ChatGPT 存取這些模型嗎?

不可以。這些模型不會在 OpenAI API 中提供服務,也不會出現在 ChatGPT 中。

我可以微調這些模型嗎?

可以。您可以使用開源工具及偏好的基礎設施進行微調。我們不會透過 OpenAI API 為這些模型提供微調。

開放權重模型是否比使用 API 更便宜?

成本會因基礎設施、工作負載及營運方式而異。在某些情況下,自行託管可能較便宜;但若計及託管、維護及升級,我們的 API Platform 可能更有效率。

這些模型支援哪些功能?

這些模型目前是純文字推理模型。常見 runtime 支援串流、函數調用及結構化輸出內容。請查閱您的 runtime 文件以了解確切功能。

這與 ModAPI 有何不同?

這是一款能力強大的推理模型,讓您可自備政策。它可以與 ModAPI 協同運作,但可能不適合作為低延遲使用案例的替代方案。

這篇文章對你有幫助嗎?