Überblick

Einführung von zwei Open-Weight-Reasoning-Modellen: gpt‑oss‑120b und gpt‑oss‑20b. Sie laufen auf von Ihnen kontrollierter Infrastruktur oder über Hosting-Anbieter.

Warum Open-Weights

• Auswahl und Kontrolle: Führen Sie Modelle On-Premises oder in Ihrer privaten Cloud aus, wahren Sie die Datenresidenz und passen Sie die Leistung an Ihre Anforderungen an.

• Anpassung: Passen Sie die Modelle per Fine-Tuning an oder adaptieren Sie sie mit Ihren bevorzugten offenen Tools.

Verfügbarkeit und Lizenzierung

• Lizenz: Apache 2.0 erlaubt eine breite Nutzung, Änderung und Weiterverbreitung, einschließlich kommerzieller Nutzung (vorbehaltlich unserer gpt-oss-Nutzungsrichtlinie).

• Serving: Nicht über die OpenAI API verfügbar, daher gelten API-Preise und Ratenlimits nicht.

• Kompatibilität: Kann mit gängigen offenen Inferenz-Stacks wie vLLM, Ollama, llama.cpp sowie in Cloud- oder selbst verwalteten GPU-Umgebungen ausgeführt werden.

Erste Schritte

So erhältst du die Modellgewichte und ergänzenden Ressourcen:

• Auf der gpt-oss-Website findest du eine Übersicht und direkte Links.

• Lade die Gewichte aus der Hugging-Face-Sammlung herunter. In diesem Community-Hub findest du beide Modelle und Anwendungsbeispiele. Außerdem kannst du die Inferenz optional direkt über die Dienste von Hugging Face ausführen.

• In unserem GitHub-Repository findest du Referenzcode für die Inferenz.

• Nutze die Anleitungen in den OpenAI Recipes, um unterstützte Laufzeitumgebungen wie Ollama, vLLM und Transformers einzurichten. Die Recipes enthalten außerdem Schritt-für-Schritt-Anleitungen für die lokale Ausführung, den Einsatz gängiger Laufzeitumgebungen und, sofern unterstützt, die Feinabstimmung von gpt-oss-Modellen.

gpt‑oss‑safeguard (Forschungsvorschau)

gpt‑oss‑safeguard umfasst zwei Sicherheits-Reasoning-Modelle mit offenen Gewichten, die auf gpt‑oss basieren. Sie sind für die richtlinienbasierte Sicherheitsklassifizierung und verwandte Aufgaben im Bereich Vertrauen und Sicherheit auf einer von dir kontrollierten Infrastruktur konzipiert. Wie bei anderen gpt‑oss-Modellen werden diese Modellgewichte weder über die OpenAI API noch über ChatGPT bereitgestellt.

• Reine Textmodelle mit Referenzschemata für strukturierte Ausgaben, etwa Richtlinienentscheid und Begründung.

• Eigene Richtlinien verwenden: Das Modell interpretiert deine schriftlichen Richtlinien und kann sie so mit minimalem Entwicklungsaufwand produktübergreifend anwenden.

• Begründete Entscheidungen: Optionale Reasoning-Spuren unterstützen die Fehlerbehebung und Prüfungen. Sie sind für Entwicklungsteams und Sicherheitsfachleute gedacht, nicht zur Anzeige für Endnutzende.

• Konfigurierbarer Reasoning-Aufwand: Wähle Niedrig / Mittel / Hoch, um Latenz und Analysetiefe gegeneinander abzuwägen.

• Lizenz: Apache 2.0 (siehe unten unter Verfügbarkeit und Lizenzierung).

gpt‑oss‑safeguard eignet sich gut zum Filtern von Ein- und Ausgaben für LLMs, zur Online-Kennzeichnung von Inhalten sowie für Offline-Stapelverarbeitung zur Kennzeichnung oder Prüfung. Für allgemeine Anwendungen wie Chats oder Agenten empfehlen wir die gpt‑oss-Kernmodelle.

Du kannst das Schema an deine Anforderungen anpassen. Anleitungen zum Prompting und Beispiele findest du im OpenAI Cookbook.

Modellvarianten & Größen

Beide Modelle sind aus gpt‑oss feinabgestimmt, ohne Änderung der Architektur. Sie verwenden dieselbe Chat-Vorlage wie gpt‑oss; Sie können Ihr bestehendes Setup beibehalten. Ein empfohlenes Prompting-Muster ist, Ihre Richtlinie in einer Developer-Nachricht und den zu bewertenden Inhalt in einer User-Nachricht zu platzieren.

Support und Community

Open-Weight-Bereitstellungen werden selbst verwaltet und betreut. Hier erhalten Sie Support:

• Fragen, Diskussion, Tipps: Nutzen Sie die Hugging Face-Modellseiten, um mit der Community in Kontakt zu treten.

• Reproduzierbare Fehler im Referenz-Inferenzcode von OpenAI: Öffnen Sie ein Issue im gpt-oss-GitHub-Repository.

• Probleme mit einer Drittanbieter-Runtime (z. B. vLLM, Ollama, llama.cpp): Nutzen Sie den Issue-Tracker, die Foren oder den Supportprozess des jeweiligen Projekts.

OpenAI bietet keine Unterstützung, praktische Implementierung oder Debugging-Support für selbst gehostete oder von Drittanbietern gehostete Open-Weight-Setups, Konfigurationen, Umgebungen oder Anwendungen.

Wir werden die offenen Safety-Tools weiterhin gemeinsam mit der Community verbessern, unter anderem über die ROOST Model Community (RMC). Die RMC bringt Sicherheitsexpert:innen und Forschende zusammen, um Best Practices für die Implementierung von Open-Source-KI-Modellen in Safety-Workflows zu teilen, einschließlich Evaluationsergebnissen und Modellfeedback. Besuchen Sie das RMC-GitHub-Repository, um mehr über diese Partnerschaft und Beteiligungsmöglichkeiten zu erfahren.

Support und Community

Open-Weight-Bereitstellungen werden selbst verwaltet und betreut. Hier erhalten Sie Support:

• Fragen, Diskussion, Tipps: Nutzen Sie die Hugging Face-Modellseiten, um mit der Community in Kontakt zu treten.

• Reproduzierbare Fehler im Referenz-Inferenzcode von OpenAI: Öffnen Sie ein Issue im gpt-oss-GitHub-Repository.

• Probleme mit einer Drittanbieter-Runtime (z. B. vLLM, Ollama, llama.cpp): Nutzen Sie den Issue-Tracker, die Foren oder den Supportprozess des jeweiligen Projekts.

OpenAI bietet keine Unterstützung, praktische Implementierung oder Debugging-Support für selbst gehostete oder von Drittanbietern gehostete Open-Weight-Setups, Konfigurationen, Umgebungen oder Anwendungen.

Datenschutz und Sicherheit

Datenschutz und Daten

Diese Modelle sind dafür konzipiert, auf Infrastruktur zu laufen, die Sie kontrollieren (On-Premises oder in Ihrer Cloud bzw. bei Ihrem Hosting-Partner). OpenAI empfängt oder verarbeitet die Daten, die Sie an diese selbst gehosteten Modelle senden, nicht, es sei denn, Sie teilen sie ausdrücklich mit OpenAI oder nutzen einen unserer verwalteten Hosting-Partner.

Sicherheit

Diese Modelle wurden umfassend auf Sicherheit trainiert und getestet. Weitere Details finden Sie in unserer Modellkarte und im technischen Bericht.

Melden von Inhaltsverstößen

Wenn Sie der Meinung sind, dass mit gpt‑oss-Modellen generierte Inhalte gegen unsere Richtlinien verstoßen, können Sie dies über unser Formular zum Melden von Inhalten melden. Bitte geben Sie so viele Details wie möglich an, damit unser Team Ihre Meldung prüfen kann.

FAQ

Sind diese Modelle kostenlos?

Die Gewichte der gpt-oss-Modelle können unter der Apache-2.0-Lizenz und der gpt-oss-Nutzungsrichtlinie kostenlos heruntergeladen und verwendet werden. Sie sind jedoch für alle Kosten verantwortlich, die mit dem Betrieb verbunden sind – etwa für Rechenleistung, Speicher oder Hosting-Gebühren von Drittanbietern. Die Preise dafür hängen von der von Ihnen gewählten Infrastruktur oder dem Anbieter ab.

Sind diese Modelle „Open Source“?

Wir verwenden den Begriff offene Modelle oder Open-Weight , um anzugeben, dass die trainierten Gewichte unter der permissiven Apache-2.0-Lizenz und der gpt-oss-Nutzungsrichtlinie öffentlich verfügbar sind. Das bedeutet, dass Sie die Modelle herunterladen, auf Ihrer eigenen Infrastruktur oder mit unterstützten Hosting-Frameworks ausführen und sie anpassen oder per Fine-Tuning optimieren können.

Offene Modelle geben Entwickler:innen und Organisationen mehr Kontrolle und Flexibilität. Sie können wählen, wo Sie hosten, die Modelle für bestimmte Anwendungsfälle anpassen und von einer Lizenzierung profitieren, die eine breite Nutzung, Änderung und Weiterverbreitung erlaubt. Während die trainierten Gewichte offen sind, können einige umgebende Infrastrukturen oder Tools Eigentum ihrer Anbieter bleiben.

Kann ich über die OpenAI API oder ChatGPT auf diese Modelle zugreifen?

Nein. Diese Modelle werden nicht in der OpenAI API bereitgestellt und erscheinen nicht in ChatGPT.

Kann ich die Modelle per Fine-Tuning anpassen?

Ja. Sie können Fine-Tuning mit Open-Source-Tools und Ihrer bevorzugten Infrastruktur durchführen. Wir bieten für diese Modelle kein Fine-Tuning über OpenAI APIs an.

Sind Open-Weight-Modelle günstiger als die Nutzung der API?

Die Kosten variieren je nach Infrastruktur, Workload und Betriebsansatz. Self-Hosting kann in manchen Fällen günstiger sein, während unsere API Platform effizienter sein kann, wenn Hosting, Wartung und Upgrades berücksichtigt werden.

Welche Funktionen unterstützen diese Modelle?

Diese Modelle sind derzeit reine Text-Reasoning-Modelle. Gängige Runtimes unterstützen Streaming, Funktionsaufrufe und strukturierte Ausgaben. Prüfen Sie die Dokumentation Ihrer Runtime für die genauen Funktionen.

Worin unterscheidet sich dies von ModAPI?

Dies ist ein sehr leistungsfähiges Reasoning-Modell, das es Ihnen ermöglicht, Ihre eigene Richtlinie einzubringen. Es kann zusammen mit ModAPI eingesetzt werden, ist aber wahrscheinlich kein Ersatz für Anwendungsfälle mit niedriger Latenz.