గమనిక: ఈ వ్యాసం ఉన్నత-స్థాయి అవలోకనాన్ని అందిస్తుంది. సాంకేతిక సెటప్ కోసం సమాచారం gpt-oss వెబ్సైట్, GitHub, Hugging Face, మరియు OpenAI Cookbooksలో లభిస్తుంది.
అవలోకనం
రెండు ఓపెన్-వెయిట్ రిజనింగ్ మోడల్స్ను పరిచయం చేస్తున్నాము: gpt‑oss‑120b మరియు gpt‑oss‑20b. అవి మీరు నియంత్రించే ఇన్ఫ్రాస్ట్రక్చర్లో లేదా హోస్టింగ్ ప్రొవైడర్ల ద్వారా రన్ అవుతాయి.
గమనిక: ఈ మోడల్స్ OpenAI API ద్వారా అందించబడవు మరియు ChatGPTలో అందుబాటులో లేవు.
ఓపెన్-వెయిట్స్ ఎందుకు
ఎంపిక మరియు నియంత్రణ: మోడల్స్ను ఆన్-ప్రెమిసెస్లో లేదా మీ ప్రైవేట్ క్లౌడ్లో రన్ చేయండి, డేటా రెసిడెన్సీని నిలుపుకోండి, మీ అవసరాలకు పనితీరును అనుకూలీకరించండి.
కస్టమైజేషన్: మీకు ఇష్టమైన ఓపెన్ టూలింగ్తో మోడల్స్ను ఫైన్-ట్యూన్ లేదా అనుకూలీకరించండి.
లభ్యత మరియు లైసెన్సింగ్
లైసెన్స్: Apache 2.0 వాణిజ్య వినియోగంతో సహా విస్తృత వినియోగం, మార్పు మరియు పునర్వితరణను అనుమతిస్తుంది (మా gpt-oss వినియోగ పాలసీకు లోబడి).
సర్వింగ్: OpenAI API ద్వారా అందుబాటులో లేదు, కాబట్టి API ధరలు మరియు రేట్ లిమిట్స్ వర్తించవు.
అనుకూలత: vLLM, Ollama, llama.cpp వంటి సాధారణ ఓపెన్ ఇన్ఫరెన్స్ స్టాక్లతో, అలాగే క్లౌడ్ లేదా స్వీయ-నిర్వహిత GPU ఎన్విరాన్మెంట్లలో రన్ చేయవచ్చు.
ప్రారంభించడం
మోడల్ వెయిట్లు, సహాయక వనరులను పొందడానికి మీరు ఇలా చేయవచ్చు:
సమగ్ర అవలోకనం, నేరుగా లింక్ల కోసం gpt-oss వెబ్సైట్ను సందర్శించండి.
హగ్గింగ్ ఫేస్ సేకరణ నుంచి వెయిట్లను డౌన్లోడ్ చేసుకోండి. ఈ కమ్యూనిటీ కేంద్రంలో రెండు మోడళ్లను కనుగొనవచ్చు, వినియోగ ఉదాహరణలను చూడవచ్చు, అవసరమైతే హగ్గింగ్ ఫేస్ సేవల ద్వారానే ఇన్ఫరెన్స్ను అమలు చేయవచ్చు.
సూచన ఇన్ఫరెన్స్ కోడ్ కోసం మా గిట్హబ్ రిపోజిటరీని చూడండి.
Ollama, vLLM, Transformers వంటి మద్దతున్న రన్టైమ్లతో సెటప్ చేయడానికి OpenAI రెసిపీలలోని మార్గదర్శకాలను ఉపయోగించండి. స్థానికంగా అమలు చేయడం, సాధారణ రన్టైమ్లను ఉపయోగించడం, మద్దతున్న చోట gpt-oss మోడళ్లను ఫైన్-ట్యూన్ చేయడం గురించి దశలవారీ సూచనలు కూడా రెసిపీలలో ఉన్నాయి.
gpt‑oss‑safeguard (పరిశోధన ముందస్తు సంచిక)
gpt‑oss‑safeguard అనేది gpt‑oss ఆధారంగా నిర్మించిన, వెయిట్లు బహిరంగంగా అందుబాటులో ఉన్న రెండు భద్రతా రీజనింగ్ మోడళ్ల సమాహారం. మీ నియంత్రణలోని మౌలిక సదుపాయాలపై మీరు అమలు చేసే విధానం ఆధారిత భద్రతా వర్గీకరణ, సంబంధిత విశ్వసనీయత & భద్రతా పనుల కోసం వీటిని రూపొందించారు. ఇతర gpt‑oss మోడళ్ల మాదిరిగానే, ఈ వెయిట్లను OpenAI API లేదా ChatGPT ద్వారా అందించరు.
పాఠ్యాన్ని మాత్రమే ఉపయోగించే మోడళ్లు, స్ట్రక్చర్డ్ అవుట్పుట్స్ కోసం నమూనా స్కీమాలతో సహా (ఉదా., విధాన తీర్పు, కారణ వివరణ).
మీ స్వంత విధానాన్ని ఉపయోగించండి: అతి తక్కువ ఇంజినీరింగ్ పనితో వివిధ ఉత్పత్తులకు అన్వయించగలిగేలా, మీరు రాసిన విధానాన్ని మోడల్ అర్థం చేసుకుంటుంది.
తర్కబద్ధ నిర్ణయాలు: లోప నిర్ధారణ, తనిఖీలకు తోడ్పడే ఐచ్ఛిక రీజనింగ్ ప్రక్రియ వివరాలు (డెవలపర్లు, భద్రతా నిపుణుల కోసం ఉద్దేశించినవి; తుది వినియోగదారులకు చూపడానికి కాదు).
సర్దుబాటు చేయగల రీజనింగ్ స్థాయి: ఆలస్యం, విశ్లేషణ లోతు మధ్య సమతుల్యత కోసం తక్కువ / మీడియం / హై ఎంచుకోండి.
లైసెన్స్: Apache 2.0 (దిగువన ఉన్న లభ్యత, లైసెన్సింగ్ చూడండి).
gpt‑oss‑safeguard అనేది LLMల ఇన్పుట్/అవుట్పుట్లను వడపోయడం, ఆన్లైన్ కంటెంట్కు లేబుల్లు పెట్టడం, ఆఫ్లైన్ బ్యాచ్ లేబులింగ్ లేదా సమీక్ష కార్యప్రవాహాలకు అనుకూలం. సాధారణ అనువర్తనాల కోసం (చాట్, ఏజెంట్లు మొదలైనవి), ప్రధాన gpt‑oss మోడళ్లను సిఫార్సు చేస్తున్నాము.
మీ అవసరాలకు అనుగుణంగా స్కీమాను మార్చుకోవచ్చు. ప్రాంప్ట్లను రూపొందించే మార్గదర్శకాలు, ఉదాహరణల కోసం OpenAI కుక్బుక్ను చూడండి.
మోడల్ వేరియంట్లు & పరిమాణం
| మోడల్ | ఉద్దేశించిన వినియోగం | గమనికలు |
|---|---|---|
| gpt‑oss‑safeguard‑120b | ప్రొడక్షన్, అధిక-సామర్థ్య భద్రతా రిజనింగ్ | 117B పరామితులు (≈5.1B సక్రియం). ఒకే 80 GB GPU పై సరిపోయేలా రూపొందించబడింది (ఉదా., NVIDIA H100; AMD MI300X వంటి ఎక్కువ మెమరీ ఉన్న GPUలపై కూడా రన్ అవుతుంది). |
| gpt‑oss‑safeguard‑20b | తక్కువ-లేటెన్సీ / పరిమిత ఎన్విరాన్మెంట్లు | 21B పరామితులు (≈3.6B సక్రియం). |
రెండు మోడల్స్ కూడా ఆర్కిటెక్చర్ మార్పు లేకుండా gpt‑oss నుండి ఫైన్-ట్యూన్ చేయబడ్డాయి. అవి gpt‑oss వలే అదే చాట్ టెంప్లేట్ను ఉపయోగిస్తాయి; మీరు మీ ప్రస్తుత సెటప్ను కొనసాగించవచ్చు. సిఫార్సు చేసే ప్రాంప్టింగ్ ప్యాటర్న్ మీ పాలసీని డెవలపర్ మెసేజ్లో, మూల్యాంకనం చేయాల్సిన కంటెంట్ను యూజర్ మెసేజ్లో ఉంచడం.
మద్దతు మరియు కమ్యూనిటీ
ఓపెన్-వెయిట్ డిప్లాయ్మెంట్లు స్వీయ-నిర్వహణ మరియు స్వీయ-సేవ ఆధారితమైనవి. మద్దతు ఎక్కడ పొందాలో ఇక్కడ ఉంది:
ప్రశ్నలు, చర్చ, చిట్కాలు: కమ్యూనిటీతో పాల్గొనడానికి Hugging Face మోడల్ పేజీలు ఉపయోగించండి.
OpenAI యొక్క రిఫరెన్స్ ఇన్ఫరెన్స్ కోడ్లో పునరుత్పత్తి చేయగల బగ్లు: gpt-oss GitHub రెపోలో ఒక ఇష్యూ తెరవండి.
థర్డ్-పార్టీ రన్టైమ్తో సమస్యలు (ఉదా., vLLM, Ollama, llama.cpp): సంబంధిత ప్రాజెక్ట్ యొక్క ఇష్యూ ట్రాకర్, ఫోరమ్లు లేదా మద్దతు ప్రక్రియను ఉపయోగించండి.
సెల్ఫ్-హోస్టెడ్ లేదా థర్డ్-పార్టీ-హోస్టెడ్ ఓపెన్-వెయిట్ సెటప్లు, కాన్ఫిగరేషన్లు, ఎన్విరాన్మెంట్లు లేదా అప్లికేషన్లకు OpenAI సహాయం, హ్యాండ్స్-ఆన్ అమలు లేదా డీబగ్గింగ్ మద్దతును అందించదు లేదు.
ROOST Model Community (RMC) ద్వారా సహా, ఓపెన్ భద్రతా టూలింగ్ను మెరుగుపరచడానికి మేము కమ్యూనిటీతో కలిసి నిరంతరం పునరావృతం చేస్తాము. మూల్యాంకన ఫలితాలు మరియు మోడల్ ఫీడ్బ్యాక్ సహా, ఓపెన్ సోర్స్ AI మోడల్స్ను భద్రతా వర్క్ఫ్లోల్లో అమలు చేయడానికి ఉత్తమ పద్ధతులను పంచుకోవడానికి RMC భద్రతా నిపుణులు మరియు పరిశోధకులను ఒకచోట చేర్చుతుంది. ఈ భాగస్వామ్యం గురించి మరింత తెలుసుకోవడానికి మరియు ఎలా పాల్గొనాలో తెలుసుకోవడానికి RMC GitHub రెపోను సందర్శించండి.
మద్దతు మరియు కమ్యూనిటీ
ఓపెన్-వెయిట్ డిప్లాయ్మెంట్లు స్వీయ-నిర్వహణ మరియు స్వీయ-సేవ ఆధారితమైనవి. మద్దతు ఎక్కడ పొందాలో ఇక్కడ ఉంది:
ప్రశ్నలు, చర్చ, చిట్కాలు: కమ్యూనిటీతో పాల్గొనడానికి Hugging Face మోడల్ పేజీలు ఉపయోగించండి.
OpenAI యొక్క రిఫరెన్స్ ఇన్ఫరెన్స్ కోడ్లో పునరుత్పత్తి చేయగల బగ్లు: gpt-oss GitHub రెపోలో ఒక ఇష్యూ తెరవండి.
థర్డ్-పార్టీ రన్టైమ్తో సమస్యలు (ఉదా., vLLM, Ollama, llama.cpp): సంబంధిత ప్రాజెక్ట్ యొక్క ఇష్యూ ట్రాకర్, ఫోరమ్లు లేదా మద్దతు ప్రక్రియను ఉపయోగించండి.
సెల్ఫ్-హోస్టెడ్ లేదా థర్డ్-పార్టీ-హోస్టెడ్ ఓపెన్-వెయిట్ సెటప్లు, కాన్ఫిగరేషన్లు, ఎన్విరాన్మెంట్లు లేదా అప్లికేషన్లకు OpenAI సహాయం, హ్యాండ్స్-ఆన్ అమలు లేదా డీబగ్గింగ్ మద్దతును అందించదు లేదు.
గోప్యత మరియు భద్రత
గోప్యత మరియు డేటా
ఈ మోడల్స్ మీరు నియంత్రించే ఇన్ఫ్రాస్ట్రక్చర్లో (ఆన్-ప్రెమిసెస్లో లేదా మీ క్లౌడ్ లేదా హోస్టింగ్ భాగస్వామి వద్ద) రన్ అయ్యేలా రూపొందించబడ్డాయి. మీరు స్పష్టంగా OpenAIతో పంచుకుంటే లేదా మా నిర్వహిత హోస్టింగ్ భాగస్వాముల్లో ఒకరిని ఉపయోగిస్తే తప్ప, ఈ సెల్ఫ్-హోస్టెడ్ మోడల్స్కు మీరు పంపే డేటాను OpenAI స్వీకరించదు లేదా ప్రాసెస్ చేయదు.
భద్రత
ఈ మోడల్స్ విస్తృతమైన భద్రతా శిక్షణ మరియు పరీక్షలకు లోనయ్యాయి. మరిన్ని వివరాల కోసం, మా మోడల్ కార్డ్ మరియు టెక్నికల్ రిపోర్ట్ చూడండి.
కంటెంట్ ఉల్లంఘనలను నివేదించడం
gpt‑oss మోడల్స్తో రూపొందించిన కంటెంట్ మా పాలసీలను ఉల్లంఘిస్తుందని మీరు నమ్మితే, దాన్ని మా కంటెంట్ రిపోర్ట్ ఫారమ్ ద్వారా నివేదించవచ్చు. మీ సమర్పణను మా బృందం సమీక్షించడానికి సహాయపడేలా సాధ్యమైనంత ఎక్కువ వివరాలు అందించండి.
తరచుగా అడిగే ప్రశ్నలు
ఈ మోడల్స్ ఉచితమా?
gpt-oss మోడల్ వెయిట్స్ Apache 2.0 లైసెన్స్ మరియు gpt-oss వినియోగ పాలసీ కింద డౌన్లోడ్ చేసి ఉపయోగించడానికి ఉచితం. అయితే, కంప్యూట్, స్టోరేజ్ లేదా థర్డ్-పార్టీ హోస్టింగ్ ఫీజులు వంటి వాటిని రన్ చేయడానికి సంబంధించిన ఏ ఖర్చులకైనా మీరు బాధ్యత వహించాలి. వాటి ధరలు మీరు ఎంచుకున్న ఇన్ఫ్రాస్ట్రక్చర్ లేదా ప్రొవైడర్పై ఆధారపడి ఉంటాయి.
ఈ మోడల్స్ “ఓపెన్ సోర్స్” వా?
శిక్షణ పొందిన వెయిట్స్ అనుమతించే Apache 2.0 లైసెన్స్ మరియు gpt-oss వినియోగ పాలసీ కింద పబ్లిక్గా అందుబాటులో ఉన్నాయని సూచించడానికి మేము ఓపెన్ మోడల్స్ లేదా ఓపెన్-వెయిట్ అనే పదాలను ఉపయోగిస్తాము. దీని అర్థం మీరు మోడల్స్ను డౌన్లోడ్ చేసుకోవచ్చు, వాటిని మీ స్వంత ఇన్ఫ్రాస్ట్రక్చర్లో లేదా మద్దతు ఉన్న హోస్టింగ్ ఫ్రేమ్వర్క్లతో రన్ చేయవచ్చు, అలాగే వాటిని కస్టమైజ్ లేదా ఫైన్-ట్యూన్ చేయవచ్చు.
ఓపెన్ మోడల్స్ డెవలపర్లు మరియు సంస్థలకు ఎక్కువ నియంత్రణ మరియు సౌలభ్యాన్ని ఇస్తాయి. ఎక్కడ హోస్ట్ చేయాలో మీరు ఎంచుకోవచ్చు, నిర్దిష్ట వినియోగ సందర్భాలకు మోడల్స్ను అనుకూలీకరించవచ్చు, అలాగే విస్తృత వినియోగం, మార్పు మరియు పునర్వితరణకు అనుమతించే లైసెన్సింగ్ నుండి ప్రయోజనం పొందవచ్చు. శిక్షణ పొందిన వెయిట్స్ ఓపెన్గా ఉన్నప్పటికీ, కొన్ని పరిసర ఇన్ఫ్రాస్ట్రక్చర్ లేదా టూలింగ్ వాటి ప్రొవైడర్లకు స్వామ్యంగా ఉండవచ్చు.
నేను ఈ మోడల్స్ను OpenAI API లేదా ChatGPT ద్వారా యాక్సెస్ చేయగలనా?
లేదు. ఈ మోడల్స్ OpenAI APIలో సర్వ్ చేయబడవు మరియు ChatGPTలో కనిపించవు.
నేను మోడల్స్ను ఫైన్-ట్యూన్ చేయగలనా?
అవును. ఓపెన్-సోర్స్ టూల్స్ మరియు మీకు ఇష్టమైన ఇన్ఫ్రాస్ట్రక్చర్ ఉపయోగించి మీరు ఫైన్-ట్యూన్ చేయవచ్చు. ఈ మోడల్స్ కోసం OpenAI APIల ద్వారా మేము ఫైన్-ట్యూనింగ్ అందించము.
API ఉపయోగించడంకంటే ఓపెన్-వెయిట్ మోడల్స్ చవకైనవా?
ఇన్ఫ్రాస్ట్రక్చర్, వర్క్లోడ్ మరియు ఆపరేషనల్ విధానాన్ని బట్టి ఖర్చులు మారుతాయి. కొన్ని సందర్భాల్లో సెల్ఫ్-హోస్టింగ్ చవకగా ఉండవచ్చు, కానీ హోస్టింగ్, నిర్వహణ మరియు అప్గ్రేడ్లను పరిగణనలోకి తీసుకుంటే మా API ప్లాట్ఫారమ్ మరింత సమర్థవంతంగా ఉండవచ్చు.
ఈ మోడల్స్ ఏ ఫీచర్లకు మద్దతు ఇస్తాయి?
ఈ మోడల్స్ ప్రస్తుతం టెక్స్ట్-మాత్రమే రిజనింగ్ మోడల్స్. సాధారణ రన్టైమ్లు స్ట్రీమింగ్, ఫంక్షన్ కాలింగ్ మరియు స్ట్రక్చర్డ్ అవుట్పుట్స్కు మద్దతు ఇస్తాయి. ఖచ్చితమైన సామర్థ్యాల కోసం మీ రన్టైమ్ డాక్యుమెంటేషన్ను చూడండి.
ఇది ModAPI నుండి ఎలా భిన్నంగా ఉంటుంది?
ఇది మీ స్వంత పాలసీని తీసుకురావడానికి అనుమతించే అత్యంత సామర్థ్యవంతమైన రిజనింగ్ మోడల్. ఇది ModAPIతో కలిసి పనిచేయగలదు, కానీ తక్కువ లేటెన్సీ వినియోగ సందర్భాలకు ప్రత్యామ్నాయంగా ఉండకపోవచ్చు.