గమనిక: ఈ వ్యాసం ఉన్నత-స్థాయి అవలోకనాన్ని అందిస్తుంది. సాంకేతిక సెటప్ కోసం సమాచారం gpt-oss వెబ్సైట్, GitHub, Hugging Face, మరియు OpenAI Cookbooksలో లభిస్తుంది.
అవలోకనం
రెండు ఓపెన్-వెయిట్ రిజనింగ్ మోడల్స్ను పరిచయం చేస్తున్నాము: gpt‑oss‑120b మరియు gpt‑oss‑20b. అవి మీరు నియంత్రించే ఇన్ఫ్రాస్ట్రక్చర్లో లేదా హోస్టింగ్ ప్రొవైడర్ల ద్వారా రన్ అవుతాయి.
గమనిక: ఈ మోడల్స్ OpenAI API ద్వారా అందించబడవు మరియు ChatGPTలో అందుబాటులో లేవు.
ఓపెన్-వెయిట్స్ ఎందుకు
ఎంపిక మరియు నియంత్రణ: మోడల్స్ను ఆన్-ప్రెమిసెస్లో లేదా మీ ప్రైవేట్ క్లౌడ్లో రన్ చేయండి, డేటా రెసిడెన్సీని నిలుపుకోండి, మీ అవసరాలకు పనితీరును అనుకూలీకరించండి.
కస్టమైజేషన్: మీకు ఇష్టమైన ఓపెన్ టూలింగ్తో మోడల్స్ను ఫైన్-ట్యూన్ లేదా అనుకూలీకరించండి.
లభ్యత మరియు లైసెన్సింగ్
లైసెన్స్: Apache 2.0 వాణిజ్య వినియోగంతో సహా విస్తృత వినియోగం, మార్పు మరియు పునర్వితరణను అనుమతిస్తుంది (మా gpt-oss వినియోగ పాలసీకు లోబడి).
సర్వింగ్: OpenAI API ద్వారా అందుబాటులో లేదు, కాబట్టి API ధరలు మరియు రేట్ లిమిట్స్ వర్తించవు.
అనుకూలత: vLLM, Ollama, llama.cpp వంటి సాధారణ ఓపెన్ ఇన్ఫరెన్స్ స్టాక్లతో, అలాగే క్లౌడ్ లేదా స్వీయ-నిర్వహిత GPU ఎన్విరాన్మెంట్లలో రన్ చేయవచ్చు.
ప్రారంభించడం
మోడల్ వెయిట్స్ మరియు సహాయక వనరులను పొందడానికి, మీరు:
అవలోకనం మరియు ప్రత్యక్ష లింకుల కోసం gpt-oss వెబ్సైట్ సందర్శించండి.
Hugging Face కలెక్షన్ నుండి వెయిట్స్ డౌన్లోడ్ చేయండి — ఇది రెండు మోడల్స్ను కనుగొనడానికి, వినియోగ ఉదాహరణలు చూడడానికి, అలాగే ఐచ్ఛికంగా Hugging Face సేవల ద్వారా నేరుగా ఇన్ఫరెన్స్ రన్ చేయడానికి కమ్యూనిటీ హబ్.
రిఫరెన్స్ ఇన్ఫరెన్స్ కోడ్ కోసం మా GitHub రెపోను యాక్సెస్ చేయండి.
Ollama, vLLM, Transformers వంటి మద్దతు ఉన్న రన్టైమ్లతో సెటప్ కోసం OpenAI Cookbookలోని గైడ్లను ఉపయోగించండి. స్థానికంగా రన్ చేయడం, సాధారణ రన్టైమ్లను ఉపయోగించడం, అలాగే—మద్దతు ఉన్న చోట—gpt‑oss మోడల్స్ను ఫైన్-ట్యూన్ చేయడం కోసం Cookbook లో దశలవారీ సూచనలు కూడా ఉన్నాయి.
gpt‑oss‑safeguard (పరిశోధన ప్రివ్యూ)
gpt‑oss‑safeguard అనేది gpt‑oss మీద నిర్మించబడిన ఓపెన్-వెయిట్ భద్రతా రిజనింగ్ మోడల్స్ జంట. అవి పాలసీ-ఆధారిత భద్రతా వర్గీకరణ మరియు మీరు నియంత్రించే ఇన్ఫ్రాస్ట్రక్చర్లో రన్ చేసే సంబంధిత ట్రస్ట్ & సేఫ్టీ పనుల కోసం రూపొందించబడ్డాయి. ఇతర gpt‑oss మోడల్స్ లాగానే, ఈ వెయిట్స్ OpenAI API లేదా ChatGPT ద్వారా అందించబడవు.
రిఫరెన్స్ స్ట్రక్చర్డ్-అవుట్పుట్ స్కీమాలతో (ఉదా., పాలసీ తీర్పు, కారణం) టెక్స్ట్-మాత్రమే మోడల్స్.
మీ స్వంత పాలసీని తీసుకురండి: మోడల్ మీ రాసిన పాలసీని అర్థం చేసుకుంటుంది, తద్వారా కనిష్ఠ ఇంజినీరింగ్తో ఉత్పత్తుల అంతటా సాధారణీకరించగలదు.
రిజన్డ్ నిర్ణయాలు: డీబగ్గింగ్ మరియు ఆడిట్లకు సహాయపడే ఐచ్ఛిక రిజనింగ్ ట్రేస్లు (డెవలపర్లు మరియు భద్రతా నిపుణుల కోసం ఉద్దేశించబడ్డాయి, తుది వినియోగదారులకు చూపించడానికి కాదు).
కాన్ఫిగర్ చేయగల రిజనింగ్ ప్రయత్నం: లేటెన్సీ vs. లోతు మధ్య సమతుల్యం కోసం తక్కువ / మధ్యస్థం / అధిక ఎంచుకోండి.
లైసెన్స్: Apache 2.0 (క్రింద లభ్యత మరియు లైసెన్సింగ్ చూడండి).
gpt‑oss‑safeguard LLMల కోసం ఇన్పుట్/అవుట్పుట్ ఫిల్టరింగ్, ఆన్లైన్ కంటెంట్ లేబెలింగ్ మరియు ఆఫ్లైన్ బ్యాచ్ లేబెలింగ్ లేదా రివ్యూ వర్క్ఫ్లోలకు బాగా సరిపోతుంది. సాధారణ అప్లికేషన్లకు (చాట్, ఏజెంట్లు మొదలైనవి), కోర్ gpt‑oss మోడల్స్ను మేము సిఫార్సు చేస్తున్నాము.
మీ అవసరాలకు అనుగుణంగా స్కీమాను మార్చుకోవచ్చు. ప్రాంప్టింగ్ పై గైడ్లు మరియు ఉదాహరణల కోసం దయచేసి OpenAI Cookbook చూడండి.
మోడల్ వేరియంట్లు & పరిమాణం
| మోడల్ | ఉద్దేశించిన వినియోగం | గమనికలు |
|---|---|---|
| gpt‑oss‑safeguard‑120b | ప్రొడక్షన్, అధిక-సామర్థ్య భద్రతా రిజనింగ్ | 117B పరామితులు (≈5.1B సక్రియం). ఒకే 80 GB GPU పై సరిపోయేలా రూపొందించబడింది (ఉదా., NVIDIA H100; AMD MI300X వంటి ఎక్కువ మెమరీ ఉన్న GPUలపై కూడా రన్ అవుతుంది). |
| gpt‑oss‑safeguard‑20b | తక్కువ-లేటెన్సీ / పరిమిత ఎన్విరాన్మెంట్లు | 21B పరామితులు (≈3.6B సక్రియం). |
రెండు మోడల్స్ కూడా ఆర్కిటెక్చర్ మార్పు లేకుండా gpt‑oss నుండి ఫైన్-ట్యూన్ చేయబడ్డాయి. అవి gpt‑oss వలే అదే చాట్ టెంప్లేట్ను ఉపయోగిస్తాయి; మీరు మీ ప్రస్తుత సెటప్ను కొనసాగించవచ్చు. సిఫార్సు చేసే ప్రాంప్టింగ్ ప్యాటర్న్ మీ పాలసీని డెవలపర్ మెసేజ్లో, మూల్యాంకనం చేయాల్సిన కంటెంట్ను యూజర్ మెసేజ్లో ఉంచడం.
మద్దతు మరియు కమ్యూనిటీ
ఓపెన్-వెయిట్ డిప్లాయ్మెంట్లు స్వీయ-నిర్వహణ మరియు స్వీయ-సేవ ఆధారితమైనవి. మద్దతు ఎక్కడ పొందాలో ఇక్కడ ఉంది:
ప్రశ్నలు, చర్చ, చిట్కాలు: కమ్యూనిటీతో పాల్గొనడానికి Hugging Face మోడల్ పేజీలు ఉపయోగించండి.
OpenAI యొక్క రిఫరెన్స్ ఇన్ఫరెన్స్ కోడ్లో పునరుత్పత్తి చేయగల బగ్లు: gpt-oss GitHub రెపోలో ఒక ఇష్యూ తెరవండి.
థర్డ్-పార్టీ రన్టైమ్తో సమస్యలు (ఉదా., vLLM, Ollama, llama.cpp): సంబంధిత ప్రాజెక్ట్ యొక్క ఇష్యూ ట్రాకర్, ఫోరమ్లు లేదా మద్దతు ప్రక్రియను ఉపయోగించండి.
సెల్ఫ్-హోస్టెడ్ లేదా థర్డ్-పార్టీ-హోస్టెడ్ ఓపెన్-వెయిట్ సెటప్లు, కాన్ఫిగరేషన్లు, ఎన్విరాన్మెంట్లు లేదా అప్లికేషన్లకు OpenAI సహాయం, హ్యాండ్స్-ఆన్ అమలు లేదా డీబగ్గింగ్ మద్దతును అందించదు లేదు.
ROOST Model Community (RMC) ద్వారా సహా, ఓపెన్ భద్రతా టూలింగ్ను మెరుగుపరచడానికి మేము కమ్యూనిటీతో కలిసి నిరంతరం పునరావృతం చేస్తాము. మూల్యాంకన ఫలితాలు మరియు మోడల్ ఫీడ్బ్యాక్ సహా, ఓపెన్ సోర్స్ AI మోడల్స్ను భద్రతా వర్క్ఫ్లోల్లో అమలు చేయడానికి ఉత్తమ పద్ధతులను పంచుకోవడానికి RMC భద్రతా నిపుణులు మరియు పరిశోధకులను ఒకచోట చేర్చుతుంది. ఈ భాగస్వామ్యం గురించి మరింత తెలుసుకోవడానికి మరియు ఎలా పాల్గొనాలో తెలుసుకోవడానికి RMC GitHub రెపోను సందర్శించండి.
మద్దతు మరియు కమ్యూనిటీ
ఓపెన్-వెయిట్ డిప్లాయ్మెంట్లు స్వీయ-నిర్వహణ మరియు స్వీయ-సేవ ఆధారితమైనవి. మద్దతు ఎక్కడ పొందాలో ఇక్కడ ఉంది:
ప్రశ్నలు, చర్చ, చిట్కాలు: కమ్యూనిటీతో పాల్గొనడానికి Hugging Face మోడల్ పేజీలు ఉపయోగించండి.
OpenAI యొక్క రిఫరెన్స్ ఇన్ఫరెన్స్ కోడ్లో పునరుత్పత్తి చేయగల బగ్లు: gpt-oss GitHub రెపోలో ఒక ఇష్యూ తెరవండి.
థర్డ్-పార్టీ రన్టైమ్తో సమస్యలు (ఉదా., vLLM, Ollama, llama.cpp): సంబంధిత ప్రాజెక్ట్ యొక్క ఇష్యూ ట్రాకర్, ఫోరమ్లు లేదా మద్దతు ప్రక్రియను ఉపయోగించండి.
సెల్ఫ్-హోస్టెడ్ లేదా థర్డ్-పార్టీ-హోస్టెడ్ ఓపెన్-వెయిట్ సెటప్లు, కాన్ఫిగరేషన్లు, ఎన్విరాన్మెంట్లు లేదా అప్లికేషన్లకు OpenAI సహాయం, హ్యాండ్స్-ఆన్ అమలు లేదా డీబగ్గింగ్ మద్దతును అందించదు లేదు.
గోప్యత మరియు భద్రత
గోప్యత మరియు డేటా
ఈ మోడల్స్ మీరు నియంత్రించే ఇన్ఫ్రాస్ట్రక్చర్లో (ఆన్-ప్రెమిసెస్లో లేదా మీ క్లౌడ్ లేదా హోస్టింగ్ భాగస్వామి వద్ద) రన్ అయ్యేలా రూపొందించబడ్డాయి. మీరు స్పష్టంగా OpenAIతో పంచుకుంటే లేదా మా నిర్వహిత హోస్టింగ్ భాగస్వాముల్లో ఒకరిని ఉపయోగిస్తే తప్ప, ఈ సెల్ఫ్-హోస్టెడ్ మోడల్స్కు మీరు పంపే డేటాను OpenAI స్వీకరించదు లేదా ప్రాసెస్ చేయదు.
భద్రత
ఈ మోడల్స్ విస్తృతమైన భద్రతా శిక్షణ మరియు పరీక్షలకు లోనయ్యాయి. మరిన్ని వివరాల కోసం, మా మోడల్ కార్డ్ మరియు టెక్నికల్ రిపోర్ట్ చూడండి.
కంటెంట్ ఉల్లంఘనలను నివేదించడం
gpt‑oss మోడల్స్తో రూపొందించిన కంటెంట్ మా పాలసీలను ఉల్లంఘిస్తుందని మీరు నమ్మితే, దాన్ని మా కంటెంట్ రిపోర్ట్ ఫారమ్ ద్వారా నివేదించవచ్చు. మీ సమర్పణను మా బృందం సమీక్షించడానికి సహాయపడేలా సాధ్యమైనంత ఎక్కువ వివరాలు అందించండి.
తరచుగా అడిగే ప్రశ్నలు
ఈ మోడల్స్ ఉచితమా?
gpt-oss మోడల్ వెయిట్స్ Apache 2.0 లైసెన్స్ మరియు gpt-oss వినియోగ పాలసీ కింద డౌన్లోడ్ చేసి ఉపయోగించడానికి ఉచితం. అయితే, కంప్యూట్, స్టోరేజ్ లేదా థర్డ్-పార్టీ హోస్టింగ్ ఫీజులు వంటి వాటిని రన్ చేయడానికి సంబంధించిన ఏ ఖర్చులకైనా మీరు బాధ్యత వహించాలి. వాటి ధరలు మీరు ఎంచుకున్న ఇన్ఫ్రాస్ట్రక్చర్ లేదా ప్రొవైడర్పై ఆధారపడి ఉంటాయి.
ఈ మోడల్స్ “ఓపెన్ సోర్స్” వా?
శిక్షణ పొందిన వెయిట్స్ అనుమతించే Apache 2.0 లైసెన్స్ మరియు gpt-oss వినియోగ పాలసీ కింద పబ్లిక్గా అందుబాటులో ఉన్నాయని సూచించడానికి మేము ఓపెన్ మోడల్స్ లేదా ఓపెన్-వెయిట్ అనే పదాలను ఉపయోగిస్తాము. దీని అర్థం మీరు మోడల్స్ను డౌన్లోడ్ చేసుకోవచ్చు, వాటిని మీ స్వంత ఇన్ఫ్రాస్ట్రక్చర్లో లేదా మద్దతు ఉన్న హోస్టింగ్ ఫ్రేమ్వర్క్లతో రన్ చేయవచ్చు, అలాగే వాటిని కస్టమైజ్ లేదా ఫైన్-ట్యూన్ చేయవచ్చు.
ఓపెన్ మోడల్స్ డెవలపర్లు మరియు సంస్థలకు ఎక్కువ నియంత్రణ మరియు సౌలభ్యాన్ని ఇస్తాయి. ఎక్కడ హోస్ట్ చేయాలో మీరు ఎంచుకోవచ్చు, నిర్దిష్ట వినియోగ సందర్భాలకు మోడల్స్ను అనుకూలీకరించవచ్చు, అలాగే విస్తృత వినియోగం, మార్పు మరియు పునర్వితరణకు అనుమతించే లైసెన్సింగ్ నుండి ప్రయోజనం పొందవచ్చు. శిక్షణ పొందిన వెయిట్స్ ఓపెన్గా ఉన్నప్పటికీ, కొన్ని పరిసర ఇన్ఫ్రాస్ట్రక్చర్ లేదా టూలింగ్ వాటి ప్రొవైడర్లకు స్వామ్యంగా ఉండవచ్చు.
నేను ఈ మోడల్స్ను OpenAI API లేదా ChatGPT ద్వారా యాక్సెస్ చేయగలనా?
లేదు. ఈ మోడల్స్ OpenAI APIలో సర్వ్ చేయబడవు మరియు ChatGPTలో కనిపించవు.
నేను మోడల్స్ను ఫైన్-ట్యూన్ చేయగలనా?
అవును. ఓపెన్-సోర్స్ టూల్స్ మరియు మీకు ఇష్టమైన ఇన్ఫ్రాస్ట్రక్చర్ ఉపయోగించి మీరు ఫైన్-ట్యూన్ చేయవచ్చు. ఈ మోడల్స్ కోసం OpenAI APIల ద్వారా మేము ఫైన్-ట్యూనింగ్ అందించము.
API ఉపయోగించడంకంటే ఓపెన్-వెయిట్ మోడల్స్ చవకైనవా?
ఇన్ఫ్రాస్ట్రక్చర్, వర్క్లోడ్ మరియు ఆపరేషనల్ విధానాన్ని బట్టి ఖర్చులు మారుతాయి. కొన్ని సందర్భాల్లో సెల్ఫ్-హోస్టింగ్ చవకగా ఉండవచ్చు, కానీ హోస్టింగ్, నిర్వహణ మరియు అప్గ్రేడ్లను పరిగణనలోకి తీసుకుంటే మా API ప్లాట్ఫారమ్ మరింత సమర్థవంతంగా ఉండవచ్చు.
ఈ మోడల్స్ ఏ ఫీచర్లకు మద్దతు ఇస్తాయి?
ఈ మోడల్స్ ప్రస్తుతం టెక్స్ట్-మాత్రమే రిజనింగ్ మోడల్స్. సాధారణ రన్టైమ్లు స్ట్రీమింగ్, ఫంక్షన్ కాలింగ్ మరియు స్ట్రక్చర్డ్ అవుట్పుట్స్కు మద్దతు ఇస్తాయి. ఖచ్చితమైన సామర్థ్యాల కోసం మీ రన్టైమ్ డాక్యుమెంటేషన్ను చూడండి.
ఇది ModAPI నుండి ఎలా భిన్నంగా ఉంటుంది?
ఇది మీ స్వంత పాలసీని తీసుకురావడానికి అనుమతించే అత్యంత సామర్థ్యవంతమైన రిజనింగ్ మోడల్. ఇది ModAPIతో కలిసి పనిచేయగలదు, కానీ తక్కువ లేటెన్సీ వినియోగ సందర్భాలకు ప్రత్యామ్నాయంగా ఉండకపోవచ్చు.