Genel bakış

İki açık ağırlıklı akıl yürütme modeliyle tanışın: gpt‑oss‑120b ve gpt‑oss‑20b. Bunlar sizin kontrol ettiğiniz altyapıda veya barındırma sağlayıcıları üzerinden çalışır.

Neden açık ağırlıklar?

• Seçim ve kontrol: Modelleri şirket içinde veya özel bulutunuzda çalıştırın, veri saklama ve işleme konumu gereksinimlerini koruyun ve performansı ihtiyaçlarınıza göre uyarlayın.

• Özelleştirme: Modelleri tercih ettiğiniz açık araçlarla ince ayar yapın veya uyarlayın.

Kullanılabilirlik ve lisanslama

• Lisans: Apache 2.0, ticari kullanım dahil olmak üzere geniş kullanım, değiştirme ve yeniden dağıtıma izin verir (gpt-oss kullanım politikamıza tabidir).

• Sunum: OpenAI API üzerinden sunulmaz; bu nedenle API fiyatlandırması ve hız sınırları geçerli değildir.

• Uyumluluk: vLLM, Ollama, llama.cpp gibi yaygın açık çıkarım yığınlarıyla ve bulut ya da kendi yönetiminizdeki GPU ortamlarında çalıştırılabilir.

Başlarken

Model ağırlıklarını ve destekleyici kaynakları edinmek için şunları yapabilirsiniz:

• Genel bakış ve doğrudan bağlantılar için gpt-oss web sitesini ziyaret edin.

• Ağırlıkları Hugging Face koleksiyonundan indirin — burada her iki modeli bulabilir, kullanım örneklerini görebilir ve isteğe bağlı olarak çıkarımı doğrudan Hugging Face hizmetleri üzerinden çalıştırabilirsiniz.

• Başvuru çıkarım kodu için GitHub repomuza erişin.

• Ollama, vLLM ve Transformers gibi desteklenen çalışma zamanlarıyla kurulum için OpenAI Cookbook içindeki kılavuzları kullanın. Cookbook ayrıca yerelde çalıştırma, yaygın çalışma zamanlarını kullanma ve desteklenen yerlerde gpt‑oss modellerine ince ayar uygulama için adım adım talimatlar da içerir.

gpt‑oss‑safeguard (araştırma önizlemesi)

gpt‑oss‑safeguard, gpt‑oss üzerine kurulu bir çift açık ağırlıklı güvenlik akıl yürütme modelidir. Bunlar, sizin kontrol ettiğiniz altyapıda çalıştırdığınız politika tabanlı güvenlik sınıflandırması ve ilgili güven ve emniyet görevleri için tasarlanmıştır. Diğer gpt‑oss modelleri gibi bu ağırlıklar da OpenAI API veya ChatGPT üzerinden sunulmaz.

• Yalnızca metin modelleri; başvuru yapılandırılmış çıktı şemalarıyla birlikte gelir (ör. politika kararı, gerekçe).

• Kendi politikanızı getirin: Model, yazılı politikanızı yorumlar; böylece minimum mühendislikle ürünler arasında genelleme yapabilir.

• Gerekçeli kararlar: hata ayıklama ve denetimlere yardımcı olmak için isteğe bağlı akıl yürütme izleri sunar (son kullanıcı gösterimi için değil, geliştiriciler ve güvenlik uygulayıcıları için tasarlanmıştır).

• Yapılandırılabilir akıl yürütme çabası: gecikme ile derinlik arasında denge kurmak için düşük / orta / yüksek seçin.

• Lisans: Apache 2.0 (aşağıdaki Kullanılabilirlik ve lisanslama bölümüne bakın).

gpt‑oss‑safeguard, LLM'ler için girdi/çıktı filtreleme, çevrimiçi içerik etiketleme ve çevrimdışı toplu etiketleme veya inceleme iş akışları için uygundur. Genel uygulamalar (sohbet, otonom ajanlar vb.) için temel gpt‑oss modellerini öneririz.

Şemayı ihtiyaçlarınıza göre uyarlayabilirsiniz. Komut verme kılavuzları ve örnekler için lütfen OpenAI Cookbook'a bakın.

Model varyantları ve boyutlandırma

Her iki model de mimari değişiklik olmadan gpt‑oss'tan ince ayar almıştır. gpt‑oss ile aynı sohbet şablonunu kullanırlar; mevcut kurulumunuzu koruyabilirsiniz. Önerilen bir komut verme düzeni, politikanızı bir geliştirici mesajına ve değerlendirilecek içeriği bir kullanıcı mesajına yerleştirmektir.

Destek ve topluluk

Açık ağırlıklı dağıtımlar kendi kendine yönetilir ve kendi kendine servis edilir. Destek almak için başvurabileceğiniz yerler şunlardır:

• Sorular, tartışma, ipuçları: Toplulukla etkileşim kurmak için Hugging Face model sayfalarını kullanın.

• OpenAI’ın başvuru çıkarım kodundaki yeniden üretilebilir hatalar: gpt-oss GitHub reposunda bir issue açın.

• Üçüncü taraf bir çalışma zamanıyla ilgili sorunlar (örn. vLLM, Ollama, llama.cpp): İlgili projenin issue izleyicisini, forumlarını veya destek sürecini kullanın.

OpenAI, kendi barındırdığınız veya üçüncü tarafça barındırılan açık ağırlıklı kurulumlar, yapılandırmalar, ortamlar ya da uygulamalar için yardım, uygulamalı kurulum veya hata ayıklama desteği sağlamaz.

Açık güvenlik araçlarını geliştirmek için toplulukla birlikte yinelemeye devam edeceğiz; buna ROOST Model Community (RMC) de dahildir. RMC, açık kaynaklı yapay zeka modellerini güvenlik iş akışlarına uygulamaya yönelik en iyi uygulamaları, değerlendirme sonuçlarını ve model geri bildirimlerini paylaşmak için güvenlik uygulayıcılarını ve araştırmacıları bir araya getirir. Bu ortaklık ve nasıl dahil olabileceğiniz hakkında daha fazla bilgi edinmek için RMC GitHub reposunu ziyaret edin.

Destek ve topluluk

Açık ağırlıklı dağıtımlar kendi kendine yönetilir ve kendi kendine servis edilir. Destek almak için başvurabileceğiniz yerler şunlardır:

• Sorular, tartışma, ipuçları: Toplulukla etkileşim kurmak için Hugging Face model sayfalarını kullanın.

• OpenAI’ın başvuru çıkarım kodundaki yeniden üretilebilir hatalar: gpt-oss GitHub reposunda bir issue açın.

• Üçüncü taraf bir çalışma zamanıyla ilgili sorunlar (örn. vLLM, Ollama, llama.cpp): İlgili projenin issue izleyicisini, forumlarını veya destek sürecini kullanın.

OpenAI, kendi barındırdığınız veya üçüncü tarafça barındırılan açık ağırlıklı kurulumlar, yapılandırmalar, ortamlar ya da uygulamalar için yardım, uygulamalı kurulum veya hata ayıklama desteği sağlamaz.

Gizlilik ve güvenlik

Gizlilik ve veri

Bu modeller, sizin kontrol ettiğiniz altyapıda çalışacak şekilde tasarlanmıştır (şirket içinde veya bulutunuzda ya da barındırma iş ortağınızda). Açıkça OpenAI ile paylaşmadığınız veya yönetilen barındırma ortaklarımızdan birini kullanmadığınız sürece, bu kendi barındırdığınız modellere gönderdiğiniz verileri OpenAI almaz ya da işlemez.

Güvenlik

Bu modeller kapsamlı güvenlik eğitimi ve testlerinden geçirilmiştir. Daha fazla ayrıntı için model kartımıza ve teknik raporumuza bakın.

İçerik ihlallerini bildirme

gpt‑oss modelleriyle oluşturulan içeriğin politikalarımızı ihlal ettiğine inanıyorsanız, bunu İçerik Bildir formumuz üzerinden bildirebilirsiniz. Ekibimizin gönderiminizi incelemesine yardımcı olmak için lütfen mümkün olduğunca fazla ayrıntı sağlayın.

SSS

Bu modeller ücretsiz mi?

gpt-oss model ağırlıkları, Apache 2.0 lisansı ve gpt-oss kullanım politikası kapsamında ücretsiz olarak indirilebilir ve kullanılabilir. Ancak bunları çalıştırmayla ilişkili tüm maliyetlerden — örneğin işlem, depolama veya üçüncü taraf barındırma ücretleri — siz sorumlusunuz. Bunların fiyatlandırması seçtiğiniz altyapıya veya sağlayıcıya bağlı olacaktır.

Bu modeller “açık kaynak” mı?

açık modeller veya açık ağırlıklı terimini, eğitilmiş ağırlıkların izin verici Apache 2.0 lisansı ve gpt-oss kullanım politikası kapsamında herkese açık olarak sunulduğunu belirtmek için kullanıyoruz. Bu, modelleri indirebileceğiniz, kendi altyapınızda veya desteklenen barındırma çerçeveleriyle çalıştırabileceğiniz ve özelleştirebileceğiniz ya da ince ayar yapabileceğiniz anlamına gelir.

Açık modeller, geliştiricilere ve kuruluşlara daha fazla kontrol ve esneklik sağlar. Nerede barındıracağınızı seçebilir, modelleri belirli kullanım durumlarına uyarlayabilir ve geniş kullanım, değiştirme ve yeniden dağıtıma izin veren lisanslamadan yararlanabilirsiniz. Eğitilmiş ağırlıklar açık olsa da, çevresindeki bazı altyapı veya araçlar sağlayıcılarına ait özel mülk olabilir.

Bu modellere OpenAI API veya ChatGPT üzerinden erişebilir miyim?

Hayır. Bu modeller OpenAI API’de sunulmaz ve ChatGPT’de görünmez.

Modellere ince ayar yapabilir miyim?

Evet. Açık kaynak araçları ve tercih ettiğiniz altyapıyı kullanarak ince ayar yapabilirsiniz. Bu modeller için OpenAI API'leri üzerinden ince ayar sunmuyoruz.

Açık ağırlıklı modeller, API kullanmaktan daha mı ucuz?

Maliyetler altyapıya, iş yüküne ve operasyonel yaklaşıma göre değişir. Bazı durumlarda kendi kendine barındırma daha ucuz olabilirken, barındırma, bakım ve yükseltmeler hesaba katıldığında API Platformumuz daha verimli olabilir.

Bu modeller hangi özellikleri destekliyor?

Bu modeller şu anda yalnızca metin odaklı akıl yürütme modelleridir. Yaygın çalışma zamanları streaming, fonksiyon çağrısı ve yapılandırılmış çıktıları destekler. Kesin yetenekler için çalışma zamanınızın belgelerine bakın.

Bu, ModAPI’den nasıl farklı?

Bu, kendi politikanızı getirmenize olanak tanıyan son derece yetenekli bir akıl yürütme modelidir. ModAPI ile birlikte çalışabilir, ancak düşük gecikmeli kullanım durumları için muhtemelen onun yerini almaz.