Notă: Acest articol oferă o prezentare generală de nivel înalt. Informațiile pentru configurarea tehnică se găsesc pe site-ul gpt-oss, GitHub, Hugging Face și OpenAI Cookbooks.
Prezentare generală
Vă prezentăm două modele de raţionament cu ponderi deschise: gpt‑oss‑120b și gpt‑oss‑20b. Acestea rulează pe infrastructura pe care o controlați sau prin furnizori de găzduire.
Notă: Aceste modele nu sunt furnizate prin OpenAI API și nu sunt disponibile în ChatGPT.
De ce ponderi deschise
Alegere și control: rulați modelele on-premises sau în cloudul privat, păstrați rezidența datelor și adaptați performanța la nevoile dvs.
Personalizare: faceți fine-tuning sau adaptați modelele cu instrumentele deschise preferate.
Disponibilitate și licențiere
Licență: Apache 2.0 permite utilizarea, modificarea și redistribuirea pe scară largă, inclusiv utilizarea comercială (sub rezerva politicii de utilizare gpt-oss).
Servire: nu este disponibil prin API-ul OpenAI, deci prețurile API și limitele de rată nu se aplică.
Compatibilitate: poate fi rulat cu stive comune de inferență deschisă, precum vLLM, Ollama, llama.cpp, și în medii GPU în cloud sau autogestionate.
Primii pași
Pentru a obține ponderile modelului și resursele de suport, puteți:
Vizitați site-ul gpt-oss pentru o prezentare generală și linkuri directe.
Descărcați ponderile din colecția Hugging Face — un hub al comunității unde puteți găsi ambele modele, vedea exemple de utilizare și, opțional, rula inferența direct prin serviciile Hugging Face.
Accesați repozitoriul nostru GitHub pentru codul de inferență de referință.
Folosiți ghidurile din OpenAI Cookbook pentru configurarea cu runtime-uri acceptate precum Ollama, vLLM și Transformers. Cookbook include și instrucțiuni pas cu pas pentru rulare locală, folosirea runtime-urilor comune și—acolo unde este acceptat—fine-tuningul modelelor gpt‑oss.
gpt‑oss‑safeguard (previzualizare de cercetare)
gpt‑oss‑safeguard este o pereche de modele de raţionament pentru siguranță cu ponderi deschise construite pe baza gpt‑oss. Acestea sunt concepute pentru clasificarea siguranței pe baza politicilor și sarcini conexe de încredere & siguranță, rulate pe infrastructura pe care o controlați. La fel ca alte modele gpt‑oss, aceste ponderi nu sunt servite prin API-ul OpenAI sau ChatGPT.
Modele exclusiv text cu scheme de ieșire structurată de referință (de ex., verdict de politică, justificare).
Aduceți-vă propria politică: modelul interpretează politica scrisă de dvs. pentru a putea generaliza între produse cu un efort minim de inginerie.
Decizii argumentate: urme opționale de raţionament pentru a ajuta la depanare și audituri (destinate dezvoltatorilor și practicienilor în siguranță, nu afișării pentru utilizatorii finali).
Efort de raţionament configurabil: alegeți scăzut / mediu / ridicat pentru a echilibra latența cu profunzimea.
Licență: Apache 2.0 (consultați Disponibilitate și licențiere mai jos).
gpt‑oss‑safeguard este potrivit pentru filtrarea intrărilor/ieșirilor pentru LLM-uri, etichetarea conținutului online și fluxuri de lucru offline de etichetare sau examinare în lot. Pentru aplicații generale (chat, agenți etc.), recomandăm modelele gpt‑oss de bază.
Puteți adapta schema la nevoile dvs. Consultați OpenAI Cookbook pentru ghiduri despre solicitări și exemple.
Variante de model & dimensionare
| Model | Utilizare prevăzută | Note |
|---|---|---|
| gpt‑oss‑safeguard‑120b | Producție, raţionament de siguranță de capacitate mare | 117B parametri (≈5,1B activi). Conceput pentru a încăpea pe un singur GPU de 80 GB (de ex., NVIDIA H100; rulează și pe GPU-uri cu memorie mai mare, precum AMD MI300X). |
| gpt‑oss‑safeguard‑20b | Medii cu latență mai mică / constrânse | 21B parametri (≈3,6B activi). |
Ambele modele sunt ajustate prin fine-tuning din gpt‑oss, fără modificări de arhitectură. Folosesc același șablon de chat ca gpt‑oss; vă puteți păstra configurația existentă. Un tipar recomandat pentru solicitări este să plasați politica într-un mesaj de dezvoltator și conținutul de evaluat într-un mesaj de utilizator.
Asistență și comunitate
Implementările cu ponderi deschise sunt autogestionate și autoservite. Iată unde puteți obține asistență:
Întrebări, discuții, sfaturi: folosiți paginile modelelor Hugging Face pentru a interacționa cu comunitatea.
Erori reproductibile în codul de inferență de referință al OpenAI: deschideți o problemă în repozitoriul GitHub gpt-oss.
Probleme cu un runtime terț (de ex., vLLM, Ollama, llama.cpp): folosiți sistemul de urmărire a problemelor, forumurile sau procesul de asistență al proiectului respectiv.
OpenAI nu oferă asistență, implementare practică sau suport pentru depanare pentru niciun setup, nicio configurație, niciun mediu sau nicio aplicație cu ponderi deschise găzduită individual sau de terți.
Vom continua să iterăm împreună cu comunitatea pentru a îmbunătăți instrumentele deschise de siguranță, inclusiv prin ROOST Model Community (RMC). RMC reunește practicieni și cercetători în domeniul siguranței pentru a împărtăși bune practici privind implementarea modelelor AI open source în fluxuri de lucru de siguranță, inclusiv rezultate ale evaluărilor și feedback despre modele. Vizitați repozitoriul GitHub RMC pentru a afla mai multe despre acest parteneriat și despre cum vă puteți implica.
Asistență și comunitate
Implementările cu ponderi deschise sunt autogestionate și autoservite. Iată unde puteți obține asistență:
Întrebări, discuții, sfaturi: folosiți paginile modelelor Hugging Face pentru a interacționa cu comunitatea.
Erori reproductibile în codul de inferență de referință al OpenAI: deschideți o problemă în repozitoriul GitHub gpt-oss.
Probleme cu un runtime terț (de ex., vLLM, Ollama, llama.cpp): folosiți sistemul de urmărire a problemelor, forumurile sau procesul de asistență al proiectului respectiv.
OpenAI nu oferă asistență, implementare practică sau suport pentru depanare pentru niciun setup, nicio configurație, niciun mediu sau nicio aplicație cu ponderi deschise găzduită individual sau de terți.
Confidențialitate și siguranță
Confidențialitate și date
Aceste modele sunt concepute să ruleze pe infrastructura pe care o controlați (on-premises sau în cloudul ori la partenerul dvs. de găzduire). OpenAI nu primește și nu procesează datele pe care le trimiteți acestor modele găzduite de dvs., cu excepția cazului în care le partajați explicit cu OpenAI sau folosiți unul dintre partenerii noștri de găzduire gestionată.
Siguranță
Aceste modele au trecut prin instruire și testare extinse de siguranță. Pentru mai multe detalii, consultați fișa de model și raportul tehnic.
Raportarea încălcărilor de conținut
Dacă considerați că un conținut generat cu modele gpt‑oss încalcă politicile noastre, îl puteți raporta prin formularul Raportați conținut. Vă rugăm să furnizați cât mai multe detalii posibil pentru a ajuta echipa noastră să vă examineze trimiterea.
Întrebări frecvente
Sunt aceste modele gratuite?
Ponderile modelului gpt-oss pot fi descărcate și utilizate gratuit sub licența Apache 2.0 și politica de utilizare gpt-oss. Totuși, sunteți responsabil pentru orice costuri asociate rulării lor — cum ar fi costurile de calcul, stocare sau taxele de găzduire la terți. Prețurile pentru acestea vor depinde de infrastructura sau furnizorul ales.
Sunt aceste modele „open source”?
Folosim termenul open models sau cu ponderi deschise pentru a indica faptul că ponderile antrenate sunt disponibile public sub licența permisivă Apache 2.0 și politica de utilizare gpt-oss. Aceasta înseamnă că puteți descărca modelele, le puteți rula pe propria infrastructură sau cu frameworkuri de găzduire acceptate și le puteți personaliza sau ajusta prin fine-tuning.
Modelele deschise le oferă dezvoltatorilor și organizațiilor mai mult control și flexibilitate. Puteți alege unde să găzduiți, puteți adapta modelele pentru cazuri de utilizare specifice și puteți beneficia de o licențiere care permite utilizarea, modificarea și redistribuirea pe scară largă. Deși ponderile antrenate sunt deschise, unele infrastructuri sau instrumente conexe pot rămâne proprietare pentru furnizorii lor.
Pot accesa aceste modele prin API-ul OpenAI sau ChatGPT?
Nu. Aceste modele nu sunt servite în API-ul OpenAI și nu apar în ChatGPT.
Pot face fine-tuning modelelor?
Da. Puteți face fine-tuning folosind instrumente open-source și infrastructura preferată. Nu oferim fine-tuning prin API-urile OpenAI pentru aceste modele.
Sunt modelele cu ponderi deschise mai ieftine decât utilizarea API-ului?
Costurile variază în funcție de infrastructură, volumul de lucru și abordarea operațională. Găzduirea proprie poate fi mai ieftină în unele cazuri, în timp ce platforma API noastră poate fi mai eficientă când luați în calcul găzduirea, întreținerea și upgrade-urile.
Ce funcționalități acceptă aceste modele?
Aceste modele sunt în prezent modele de raţionament exclusiv text. Runtime-urile comune acceptă streamingul, apelarea funcțiilor și speech-to-speech. Consultați documentația runtime-ului dvs. pentru capabilitățile exacte.
Prin ce diferă acesta de ModAPI?
Acesta este un model de raţionament foarte capabil, care vă permite să aduceți propria politică. Poate funcționa în tandem cu ModAPI, dar probabil nu este un înlocuitor pentru cazurile de utilizare cu latență redusă.