Lưu ý: Bài viết này cung cấp phần tổng quan cấp cao. Thông tin về thiết lập kỹ thuật có thể được tìm thấy trên trang web gpt-oss, GitHub, Hugging Face và OpenAI Cookbooks.
Tổng quan
Giới thiệu hai mô hình suy luận trọng số mở: gpt‑oss‑120b và gpt‑oss‑20b. Chúng chạy trên hạ tầng do bạn kiểm soát hoặc thông qua các nhà cung cấp dịch vụ lưu trữ.
Lưu ý: Các mô hình này không được phục vụ qua OpenAI API và không khả dụng trong ChatGPT.
Vì sao chọn trọng số mở
Lựa chọn và kiểm soát: Chạy mô hình tại chỗ hoặc trong đám mây riêng của bạn, duy trì nơi lưu trú dữ liệu và điều chỉnh hiệu năng theo nhu cầu.
Tùy chỉnh: Tinh chỉnh hoặc điều chỉnh mô hình bằng công cụ mở mà bạn chọn.
Tính khả dụng và cấp phép
Giấy phép: Apache 2.0 cho phép sử dụng, sửa đổi và phân phối lại rộng rãi, bao gồm cả mục đích thương mại (tuân theo chính sách sử dụng gpt-oss của chúng tôi).
Phục vụ: Không khả dụng qua OpenAI API, nên giá API và giới hạn tốc độ không áp dụng.
Khả năng tương thích: Có thể chạy với các stack suy luận mở phổ biến như vLLM, Ollama, llama.cpp, và trên môi trường GPU đám mây hoặc tự quản lý.
Bắt đầu
Để lấy trọng số mô hình và các tài nguyên hỗ trợ, bạn có thể:
Truy cập trang web gpt-oss để xem tổng quan và các liên kết trực tiếp.
Tải trọng số từ bộ sưu tập Hugging Face — một trung tâm cộng đồng nơi bạn có thể tìm thấy cả hai mô hình, xem ví dụ sử dụng và tùy chọn chạy suy luận trực tiếp qua dịch vụ của Hugging Face.
Truy cập repo GitHub của chúng tôi để lấy mã suy luận tham chiếu.
Dùng các hướng dẫn trong OpenAI Cookbook để thiết lập với các runtime được hỗ trợ như Ollama, vLLM và Transformers. Cookbook cũng bao gồm hướng dẫn từng bước để chạy cục bộ, dùng các runtime phổ biến và—ở nơi được hỗ trợ—tinh chỉnh mô hình gpt‑oss.
gpt‑oss‑safeguard (bản xem trước nghiên cứu)
gpt‑oss‑safeguard là một cặp mô hình suy luận an toàn trọng số mở được xây dựng trên gpt‑oss. Chúng được thiết kế cho phân loại an toàn dựa trên chính sách và các tác vụ liên quan đến niềm tin & an toàn mà bạn chạy trên hạ tầng do mình kiểm soát. Giống như các mô hình gpt‑oss khác, các trọng số này không được phục vụ qua OpenAI API hoặc ChatGPT.
Mô hình chỉ văn bản với các lược đồ đầu ra có cấu trúc tham chiếu (ví dụ: phán quyết chính sách, lý do).
Mang theo chính sách của riêng bạn: mô hình diễn giải chính sách bằng văn bản của bạn để có thể khái quát hóa trên nhiều sản phẩm với ít công sức kỹ thuật.
Quyết định có suy luận: vết suy luận tùy chọn để hỗ trợ gỡ lỗi và kiểm toán (dành cho nhà phát triển và chuyên gia an toàn, không nhằm hiển thị cho người dùng cuối).
Mức nỗ lực suy luận có thể cấu hình: chọn thấp / trung bình / cao để cân bằng độ trễ với độ sâu.
Giấy phép: Apache 2.0 (xem Tính khả dụng và cấp phép bên dưới).
gpt‑oss‑safeguard phù hợp để lọc đầu vào/đầu ra cho LLM, gắn nhãn nội dung trực tuyến và các quy trình gắn nhãn hoặc đánh giá hàng loạt ngoại tuyến. Đối với các ứng dụng tổng quát (trò chuyện, tác nhân, v.v.), chúng tôi khuyến nghị dùng các mô hình gpt‑oss cốt lõi.
Bạn có thể điều chỉnh lược đồ theo nhu cầu của mình. Vui lòng tham khảo OpenAI Cookbook để xem hướng dẫn về cách viết câu lệnh và ví dụ.
Biến thể mô hình & kích thước
| Mô hình | Mục đích sử dụng | Ghi chú |
|---|---|---|
| gpt‑oss‑safeguard‑120b | Suy luận an toàn dung lượng cao trong sản xuất | 117B tham số (≈5.1B hoạt động). Được thiết kế để vừa trên một GPU 80 GB duy nhất (ví dụ: NVIDIA H100; cũng chạy trên GPU có bộ nhớ lớn hơn như AMD MI300X). |
| gpt‑oss‑safeguard‑20b | Môi trường có độ trễ thấp hơn / bị hạn chế | 21B tham số (≈3.6B hoạt động). |
Cả hai mô hình đều được tinh chỉnh từ gpt‑oss mà không thay đổi kiến trúc. Chúng dùng cùng mẫu chat như gpt‑oss; bạn có thể giữ thiết lập hiện có. Mẫu câu lệnh được khuyến nghị là đặt chính sách của bạn trong thông điệp của nhà phát triển và nội dung cần đánh giá trong thông điệp của người dùng.
Hỗ trợ và cộng đồng
Các triển khai trọng số mở do bạn tự quản lý và tự phục vụ. Đây là nơi bạn có thể nhận hỗ trợ:
Câu hỏi, thảo luận, mẹo: Dùng các trang mô hình Hugging Face để tương tác với cộng đồng.
Lỗi có thể tái hiện trong mã suy luận tham chiếu của OpenAI: Mở một issue trên repo GitHub gpt-oss.
Sự cố với runtime bên thứ ba (ví dụ: vLLM, Ollama, llama.cpp): Dùng trình theo dõi issue, diễn đàn hoặc quy trình hỗ trợ của dự án tương ứng.
OpenAI không cung cấp hỗ trợ, triển khai trực tiếp hoặc hỗ trợ gỡ lỗi cho bất kỳ thiết lập, cấu hình, môi trường hay ứng dụng trọng số mở nào tự lưu trữ hoặc do bên thứ ba lưu trữ.
Chúng tôi sẽ tiếp tục lặp lại cùng cộng đồng để cải thiện công cụ an toàn mở, bao gồm thông qua ROOST Model Community (RMC). RMC quy tụ các chuyên gia và nhà nghiên cứu an toàn để chia sẻ các phương pháp hay nhất trong việc triển khai mô hình AI mã nguồn mở vào quy trình an toàn, bao gồm kết quả đánh giá và phản hồi về mô hình. Truy cập repo GitHub của RMC để tìm hiểu thêm về quan hệ hợp tác này và cách tham gia.
Hỗ trợ và cộng đồng
Các triển khai trọng số mở do bạn tự quản lý và tự phục vụ. Đây là nơi bạn có thể nhận hỗ trợ:
Câu hỏi, thảo luận, mẹo: Dùng các trang mô hình Hugging Face để tương tác với cộng đồng.
Lỗi có thể tái hiện trong mã suy luận tham chiếu của OpenAI: Mở một issue trên repo GitHub gpt-oss.
Sự cố với runtime bên thứ ba (ví dụ: vLLM, Ollama, llama.cpp): Dùng trình theo dõi issue, diễn đàn hoặc quy trình hỗ trợ của dự án tương ứng.
OpenAI không cung cấp hỗ trợ, triển khai trực tiếp hoặc hỗ trợ gỡ lỗi cho bất kỳ thiết lập, cấu hình, môi trường hay ứng dụng trọng số mở nào tự lưu trữ hoặc do bên thứ ba lưu trữ.
Quyền riêng tư và an toàn
Quyền riêng tư và dữ liệu
Các mô hình này được thiết kế để chạy trên hạ tầng do bạn kiểm soát (tại chỗ hoặc trong đám mây hay đối tác lưu trữ của bạn). OpenAI không nhận hoặc xử lý dữ liệu bạn gửi đến các mô hình tự lưu trữ này, trừ khi bạn chia sẻ rõ ràng với OpenAI hoặc sử dụng một trong các đối tác lưu trữ được quản lý của chúng tôi.
An toàn
Các mô hình này đã trải qua quá trình đào tạo và kiểm thử an toàn rộng rãi. Để biết thêm chi tiết, hãy xem thẻ mô hình và báo cáo kỹ thuật của chúng tôi.
Báo cáo vi phạm nội dung
Nếu bạn cho rằng nội dung được tạo bằng các mô hình gpt‑oss vi phạm chính sách của chúng tôi, bạn có thể báo cáo qua biểu mẫu Báo cáo nội dung của chúng tôi. Vui lòng cung cấp càng nhiều chi tiết càng tốt để giúp nhóm của chúng tôi xem xét nội dung bạn gửi.
Câu hỏi thường gặp
Các mô hình này có miễn phí không?
Trọng số mô hình gpt-oss được tải xuống và sử dụng miễn phí theo giấy phép Apache 2.0 và chính sách sử dụng gpt-oss. Tuy nhiên, bạn chịu trách nhiệm về mọi chi phí liên quan đến việc chạy chúng — chẳng hạn như chi phí điện toán, lưu trữ hoặc phí lưu trữ của bên thứ ba. Giá cho các khoản đó sẽ phụ thuộc vào hạ tầng hoặc nhà cung cấp bạn chọn.
Các mô hình này có phải là “mã nguồn mở” không?
Chúng tôi dùng thuật ngữ mô hình mở hoặc trọng số mở để cho biết các trọng số đã huấn luyện được công khai theo giấy phép Apache 2.0 dễ chấp nhận và chính sách sử dụng gpt-oss. Điều này có nghĩa là bạn có thể tải xuống các mô hình, chạy chúng trên hạ tầng của riêng bạn hoặc với các framework lưu trữ được hỗ trợ, đồng thời tùy chỉnh hoặc tinh chỉnh chúng.
Mô hình mở mang lại cho nhà phát triển và tổ chức nhiều quyền kiểm soát và tính linh hoạt hơn. Bạn có thể chọn nơi lưu trữ, điều chỉnh mô hình cho các trường hợp sử dụng cụ thể và hưởng lợi từ giấy phép cho phép sử dụng, sửa đổi và phân phối lại rộng rãi. Mặc dù các trọng số đã huấn luyện là mở, một số hạ tầng hoặc công cụ xung quanh vẫn có thể thuộc quyền sở hữu riêng của nhà cung cấp.
Tôi có thể truy cập các mô hình này qua OpenAI API hoặc ChatGPT không?
Không. Các mô hình này không được phục vụ trong OpenAI API và không xuất hiện trong ChatGPT.
Tôi có thể tinh chỉnh các mô hình không?
Có. Bạn có thể tinh chỉnh bằng các công cụ mã nguồn mở và hạ tầng bạn chọn. Chúng tôi không cung cấp tinh chỉnh thông qua OpenAI APIs cho các mô hình này.
Mô hình trọng số mở có rẻ hơn so với dùng API không?
Chi phí thay đổi tùy theo hạ tầng, khối lượng công việc và cách vận hành. Tự lưu trữ có thể rẻ hơn trong một số trường hợp, trong khi Nền tảng API của chúng tôi có thể hiệu quả hơn khi tính đến lưu trữ, bảo trì và nâng cấp.
Các mô hình này hỗ trợ những tính năng nào?
Các mô hình này hiện là mô hình suy luận chỉ văn bản. Các runtime phổ biến hỗ trợ phát trực tuyến, gọi hàm và đầu ra có cấu trúc. Hãy kiểm tra tài liệu của runtime bạn dùng để biết chính xác các khả năng.
Điều này khác gì so với ModAPI?
Đây là một mô hình suy luận có năng lực cao, cho phép bạn mang theo chính sách của riêng mình. Nó có thể hoạt động song song với ModAPI nhưng có lẽ không phải là giải pháp thay thế cho các trường hợp sử dụng cần độ trễ thấp.