ముఖ్యమైన లింక్లు
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్ (ప్రస్తుతం ఎంటర్ప్రైజ్ API కస్టమర్లకు మాత్రమే అందుబాటులో ఉంది)
సరైన డిఫాల్ట్లతో ప్రారంభించండి
మీరు సర్వీస్ హెల్త్ డ్యాష్బోర్డ్ను తెరిచినప్పుడు, ఇది డిఫాల్ట్గా ఇలా ఉంటుంది:
అన్ని ప్రాజెక్ట్లు
చివరి 30 రోజులు
గంటవారీ రిజల్యూషన్
ఈ వీక్షణ దిశానిర్దేశానికి మాత్రమే ఉపయోగపడుతుంది. అర్థవంతమైన ట్రబుల్షూటింగ్కు ఎల్లప్పుడూ ఫిల్టరింగ్ అవసరం.
దర్యాప్తు చేసే ముందు ఫిల్టర్ చేయండి
సరైన ఫిల్టరింగ్ అత్యంత ముఖ్యమైన దశ. చాలా తప్పు అర్థాలు మోడల్లు, టియర్లు లేదా ప్రాజెక్ట్లను కలపడం వల్ల వస్తాయి.
మోడల్ ఆధారంగా ఫిల్టర్ చేయండి (ఒక్కసారి ఒకటి)
ఎల్లప్పుడూ ఒకే మోడల్కు ఫిల్టర్ చేయండి.
ఎందుకు:
తక్కువ ట్రాఫిక్ ఉన్న మోడల్లలోని సమస్యలు అధిక పరిమాణ ట్రాఫిక్ వల్ల దాచబడవచ్చు
అధిక పరిమాణ మోడల్లు స్థానిక సమస్యలను గ్లోబల్గా కనిపించేలా చేయగలవు
వేర్వేరు మోడల్లకు వేర్వేరు పనితీరు లక్ష్యాలు ఉంటాయి
గమనిక: బహుళ మోడల్లను ఎంచుకోవడం వాటిని సమీకరిస్తుంది—వాటి మధ్య మారదు.
సర్వీస్ టియర్ ఆధారంగా ఫిల్టర్ చేయండి
మీరు ఒకటి కంటే ఎక్కువ టియర్లను ఉపయోగిస్తుంటే (స్టాండర్డ్, వేగవంతమైన మోడ్ (గతంలో ప్రాధాన్య ప్రాసెసింగ్), స్కేల్ టియర్), మీరు పరిశీలిస్తున్న టియర్ను మాత్రమే ఎల్లప్పుడూ ఫిల్టర్ చేయండి.
ఎందుకంటే:
టియర్ల పనితీరు లక్షణాలు వేర్వేరుగా ఉంటాయి.
వేగవంతమైన మోడ్, స్కేల్ టియర్లకు నిర్దిష్ట సేవా స్థాయి ఒప్పందాలు ఉన్నాయి.
టియర్లను కలపడం వల్ల చెల్లింపు టియర్ పనితీరు స్పష్టంగా కనిపించదు.
జాప్య విశ్లేషణకు ఇది మరింత ముఖ్యమైనది.
ప్రస్తుత మోడల్లకు సంబంధించిన వేగవంతమైన మోడ్ ట్రాఫిక్ ఇప్పటికీ వినియోగ డ్యాష్బోర్డ్లో priorityగా కనిపిస్తుంది.
ప్రాజెక్ట్ ఆధారంగా ఫిల్టర్ చేయండి
డిఫాల్ట్గా, సర్వీస్ హెల్త్ అన్ని ప్రాజెక్ట్లను చూపిస్తుంది.
ట్రబుల్షూటింగ్ కోసం, సమస్య గమనించిన ప్రాజెక్ట్(లు)కు ఫిల్టర్ చేయండి.
ఎందుకు:
ఒకే అధిక పరిమాణ ప్రాజెక్ట్ మెట్రిక్లను ఆధిపత్యం చేయగలదు.
ప్రభావితమైన చిన్న ప్రాజెక్ట్లు సంబంధం లేని ట్రాఫిక్ వల్ల కప్పివేయబడవచ్చు.
సమస్య నిజంగా సంస్థ అంతటా ఉందని మీరు నమ్మితే మాత్రమే “అన్ని ప్రాజెక్ట్లు” ఎంచుకున్నట్టుగా ఉంచండి.
లోపాల ట్రబుల్షూటింగ్
HTTP అభ్యర్థనల వీక్షణను ఉపయోగించండి
లోపాలను దర్యాప్తు చేయడానికి:
మోడల్ మరియు సర్వీస్ టియర్ ఆధారంగా ఫిల్టర్ చేయండి.
అప్టైమ్ ట్యాబ్కు బదులుగా HTTP అభ్యర్థనలు ట్యాబ్ను తెరవండి.
ఈ వీక్షణ మొత్తం అభ్యర్థనలు మరియు HTTP స్థితి కోడ్ వారీగా లోపాల సంఖ్యలను చూపిస్తుంది. సూక్ష్మ స్పైక్లు లేదా మార్పులను గుర్తించడానికి నిమిష స్థాయి రిజల్యూషన్కు జూమ్ చేయండి.
లోపాల సంఖ్యలను కాకుండా లోప రేట్లను అర్థం చేసుకోండి
ఏ ప్రొడక్షన్ సిస్టమ్లోనైనా కొన్ని లోపాలు ఊహించదగ్గవే. ముడి మొత్తాలపై కాకుండా లోప శాతంపై దృష్టి పెట్టండి.
మీ మొత్తం పరిమాణం ఎంత పెద్దదైతే, అత్యంత తక్కువ లోప రేటు ఉన్నప్పటికీ సంభావ్య లోపాల సంఖ్య అంత పెద్దదవుతుంది.
సర్వీస్ హెల్త్లో లోపాలు కనిపించనప్పుడు
మీకు క్లయింట్ వైపు లోపాలు కనిపించినా, సర్వీస్ హెల్త్లో సంబంధిత డేటా లేకపోతే:
అభ్యర్థనలు OpenAIకి చేరకపోయి ఉండవచ్చు.
సమస్య సాధారణంగా అప్స్ట్రీమ్లో ఉంటుంది (టైమ్అవుట్లు, ప్రాక్సీలు, నెట్వర్కింగ్).
దూకుడైన క్లయింట్ వైపు టైమ్అవుట్లతో ఇది సాధారణం.
జాప్య సమస్యల పరిష్కారం
నిర్దిష్ట సేవా స్థాయి ఒప్పందాలు ఉన్న వేగవంతమైన మోడ్, స్కేల్ టియర్ టియర్లలో జాప్య విశ్లేషణ అత్యంత అర్థవంతంగా ఉంటుంది. స్టాండర్డ్ టియర్లో జాప్యం మరింత ఎక్కువగా మారవచ్చు. దీనికి జాప్య హామీ ఉండదు.
కీలక మెట్రిక్లు
ప్రతి మెట్రిక్ను చూడటానికి, సంబంధిత ట్యాబ్ను క్లిక్ చేయండి:
టోకెన్ వేగం: సెకనుకు రూపొందించిన టోకెన్లు; ప్రాంప్ట్ పరిమాణంపై ఆధారపడదు.
అభ్యర్థన సమయం: మొత్తం అభ్యర్థన వ్యవధి; అవుట్పుట్ పరిమాణం మరియు రిజనింగ్ వల్ల బలంగా ప్రభావితమవుతుంది.
మొదటి టోకెన్కు సమయం (TTFT): మొదటి టోకెన్ రూపొందే వరకు సమయం; క్యాష్ చేయని ఇన్పుట్ ప్రాంప్ట్ పరిమాణం మరియు రిజనింగ్ వల్ల బలంగా ప్రభావితమవుతుంది.
ఎల్లప్పుడూ P50 / P75 / P95 పర్సెంటైల్లను సమీక్షించండి. సగటులు నిజమైన వినియోగదారు ప్రభావాన్ని దాచగలవు.
6. లేటెన్సీని టోకెన్ వినియోగంతో అనుసంధానించడం
ప్రవర్తన ఎప్పుడు మారిందో సర్వీస్ హెల్త్ చూపిస్తుంది. వినియోగ డేటా ఎందుకు అనేది వివరించడానికి సహాయపడుతుంది.
వినియోగ డ్యాష్బోర్డ్లో, సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లోని మీ వీక్షణకు సంబంధిత డేటాను చూస్తున్నారని నిర్ధారించడానికి క్రింది విధంగా చేయండి:
అదే ప్రాజెక్ట్ మరియు మోడల్కు ఫిల్టర్ చేయండి.
వర్తిస్తే, సర్వీస్ టియర్ ఆధారంగా గ్రూప్ చేయండి.
లేటెన్సీని అత్యంత బలంగా ప్రభావితం చేసే అవుట్పుట్ టోకెన్లపై దృష్టి పెట్టండి.
మరింత లోతైన విశ్లేషణ కోసం, యాక్టివిటీ డేటాను ఎగుమతి చేసి, కాలక్రమంలో ప్రతి అభ్యర్థనకు టోకెన్లను పరిశీలించండి.
7. అవసరమైతే సహాయ బృందంతో పంచుకోవాల్సిన వివరాలు
మీరు సహాయ బృందాన్ని సంప్రదిస్తే, వీటిని చేర్చండి:
ప్రభావిత సంస్థ IDలు (ముఖ్యం)
Chat Completions లేదా Responses వంటి ప్రభావిత ఎండ్పాయింట్లు (ముఖ్యం)
ప్రభావిత మోడల్లు (ముఖ్యం)
ఇది వేగవంతమైన మోడ్లోనా లేదా స్కేల్ టియర్లోనా అనే వివరాలు (ముఖ్యం)
జాప్యం లేదా లోపాలకు సంబంధించిన సమయ మండలంతో కూడిన సమయ పరిధులు (ముఖ్యం)
అందుబాటులో ఉంటే, సంబంధిత x-request-id లేదా X-Client-Request-Id
మీరు అందించే అభ్యర్థనలకు సమయ మండలంతో కూడిన సమయముద్రలు లేదా కనీసం తేదీ
అందుబాటులో ఉంటే, వీటిని కూడా చేర్చండి:
అభ్యర్థనలకు సంబంధించిన ప్రాజెక్ట్ ID
డేటా రెసిడెన్సీ అభ్యర్థనలు ప్రభావితమయ్యాయా, అయితే ఏవి ప్రభావితమయ్యాయి అనే వివరాలు
మీరు గమనిస్తున్న ధోరణుల వివరణలు
సమస్య రకాన్ని బట్టి, వీటిని చేర్చండి:
లోపాలు: విఫలమవుతున్న లేదా లోపాలు చూపుతున్న అభ్యర్థనల సుమారు శాతం, ప్రతిస్పందన కోడ్లు, లోప సందేశాలు, లోప ప్రతిస్పందన అందడానికి పట్టిన సమయం.
జాప్యం: ప్రభావిత పర్సంటైల్లు (P50 / P90 / P95 / P99), కస్టమర్ ప్రాథమిక స్థాయితో పోలిస్తే అవి ఎంత ఎక్కువగా ఉన్నాయి, అలాగే పంపిన, అందుకున్న సమయముద్రలతో నెమ్మదైన అభ్యర్థనల ఉదాహరణలు.
రెండూ: లోపం లేదా జాప్య డేటా స్క్రీన్షాట్లు లేదా పట్టిక, అలాగే లోపాల రేట్లు లేదా జాప్యం ఊహించినదానికంటే ఎక్కువగా ఉన్నాయని మీరు ఎలా నిర్ధారించారనే వివరాలు.
సాధారణ ట్రబుల్షూటింగ్ పరిస్థితులు
టైమ్అవుట్లు సంభవిస్తున్నాయి కానీ సర్వీస్ హెల్త్ సాధారణంగా కనిపిస్తోంది
సంభావ్య కారణం: అభ్యర్థనలు OpenAIకి చేరే ముందు టైమ్అవుట్ అవుతున్నాయి.
తనిఖీ చేయండి:
క్లయింట్ లేదా ప్రాక్సీ టైమ్అవుట్ సెట్టింగ్లు
స్థానిక నెట్వర్క్ లేదా లోడ్ బ్యాలెన్సర్ మార్పులు
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లో 499 లోపాల ఉనికి (ఇవి మీ స్వంత సిస్టమ్లలో 5xx లోపాలుగా కనిపించవచ్చు).
డిప్లాయ్మెంట్ లేకుండా లేటెన్సీ పెరిగింది
సంభావ్య కారణం: అవుట్పుట్ టోకెన్ పరిమాణం లేదా రిజనింగ్ వినియోగం పెరిగింది మరియు/లేదా ట్రాఫిక్ సర్వీస్ టియర్ల మధ్య మారింది.
తనిఖీ చేయండి:
వినియోగ డ్యాష్బోర్డ్లో ప్రతి అభ్యర్థనకు సగటు అవుట్పుట్ టోకెన్లు (డేటాను డౌన్లోడ్ చేసి, అవుట్పుట్ టోకెన్లను మొత్తం అభ్యర్థనలతో భాగించాలి).
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లో అభ్యర్థన సమయం మరియు TTFT పర్సెంటైల్లు.
వేగవంతమైన మోడ్ లేదా స్కేల్ టియర్ నెమ్మదిగా కనిపించడం
సంభావ్య కారణం: వివిధ టియర్ల కొలమానాలు కలిపి చూపబడుతున్నందున, స్టాండర్డ్ టియర్ ట్రాఫిక్ చెల్లింపు టియర్ పనితీరును మరుగుపరుస్తోంది.
తనిఖీ చేయాల్సినవి:
ఫిల్టర్లు ఒకే టియర్కు, ఒకే మోడల్కు పరిమితం చేయబడ్డాయి.
టియర్ల మధ్య టోకెన్ వేగం పోలిక.
5XX లోపాల్లో పెరుగుదల
సంభావ్య కారణం: ట్రాఫిక్లో చిన్న శాతాన్ని ప్రభావితం చేసే తాత్కాలిక వైఫల్యాలు.
తనిఖీ చేయండి:
లోప రేటు శాతం
అదే సమయంలో ట్రాఫిక్ పరిమాణం మారిందా అనేది
సమస్య ఒకే ప్రాజెక్ట్ను మాత్రమే ప్రభావితం చేస్తోంది
సంభావ్య కారణం: ప్రాజెక్ట్-నిర్దిష్ట కాన్ఫిగరేషన్ లేదా వినియోగ నమూనా.
తనిఖీ చేయండి:
ప్రాజెక్ట్-స్థాయి ఫిల్టరింగ్
ప్రభావితం కాని ప్రాజెక్ట్లతో పోలిక
తుది సారాంశాలు
మెట్రిక్లను అర్థం చేసుకునే ముందు, సంబంధిత చోట మోడల్, టియర్ మరియు ప్రాజెక్ట్ ఆధారంగా ఫిల్టర్ చేయండి.
లేటెన్సీ విశ్లేషణ కోసం సగటులను కాకుండా పర్సెంటైల్లను ఉపయోగించండి.
చిన్న లోప రేట్లు ఊహించదగ్గవే.
మిస్సింగ్ డేటా సాధారణంగా అప్స్ట్రీమ్ సమస్యలను సూచిస్తుంది.
లేటెన్సీ ఎందుకు మారిందో వివరించడానికి వినియోగ డేటా సహాయపడుతుంది; ప్రవర్తన ఎప్పుడు మారిందో సర్వీస్ హెల్త్ చూపిస్తుంది.