ముఖ్యమైన లింక్లు
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్ (ప్రస్తుతం ఎంటర్ప్రైజ్ API కస్టమర్లకు మాత్రమే అందుబాటులో ఉంది)
సరైన డిఫాల్ట్లతో ప్రారంభించండి
మీరు సర్వీస్ హెల్త్ డ్యాష్బోర్డ్ను తెరిచినప్పుడు, ఇది డిఫాల్ట్గా ఇలా ఉంటుంది:
అన్ని ప్రాజెక్ట్లు
చివరి 30 రోజులు
గంటవారీ రిజల్యూషన్
ఈ వీక్షణ దిశానిర్దేశానికి మాత్రమే ఉపయోగపడుతుంది. అర్థవంతమైన ట్రబుల్షూటింగ్కు ఎల్లప్పుడూ ఫిల్టరింగ్ అవసరం.
దర్యాప్తు చేసే ముందు ఫిల్టర్ చేయండి
సరైన ఫిల్టరింగ్ అత్యంత ముఖ్యమైన దశ. చాలా తప్పు అర్థాలు మోడల్లు, టియర్లు లేదా ప్రాజెక్ట్లను కలపడం వల్ల వస్తాయి.
మోడల్ ఆధారంగా ఫిల్టర్ చేయండి (ఒక్కసారి ఒకటి)
ఎల్లప్పుడూ ఒకే మోడల్కు ఫిల్టర్ చేయండి.
ఎందుకు:
తక్కువ ట్రాఫిక్ ఉన్న మోడల్లలోని సమస్యలు అధిక పరిమాణ ట్రాఫిక్ వల్ల దాచబడవచ్చు
అధిక పరిమాణ మోడల్లు స్థానిక సమస్యలను గ్లోబల్గా కనిపించేలా చేయగలవు
వేర్వేరు మోడల్లకు వేర్వేరు పనితీరు లక్ష్యాలు ఉంటాయి
గమనిక: బహుళ మోడల్లను ఎంచుకోవడం వాటిని సమీకరిస్తుంది—వాటి మధ్య మారదు.
సర్వీస్ టియర్ ఆధారంగా ఫిల్టర్ చేయండి
మీరు ఒకటి కంటే ఎక్కువ టియర్లను ఉపయోగిస్తే (స్టాండర్డ్, ప్రయారిటీ, స్కేల్), మీరు దర్యాప్తు చేస్తున్న టియర్కు ఎల్లప్పుడూ ఫిల్టర్ చేయండి.
ఎందుకు:
టియర్లకు వేర్వేరు పనితీరు లక్షణాలు ఉంటాయి
ప్రయారిటీ మరియు స్కేల్ టియర్లకు నిర్వచిత SLAలు ఉంటాయి
టియర్లను కలపడం చెల్లింపు టియర్ పనితీరును అస్పష్టం చేస్తుంది
లేటెన్సీ విశ్లేషణకు ఇది ప్రత్యేకంగా ముఖ్యమైనది.
ప్రాజెక్ట్ ఆధారంగా ఫిల్టర్ చేయండి
డిఫాల్ట్గా, సర్వీస్ హెల్త్ అన్ని ప్రాజెక్ట్లను చూపిస్తుంది.
ట్రబుల్షూటింగ్ కోసం, సమస్య గమనించిన ప్రాజెక్ట్(లు)కు ఫిల్టర్ చేయండి.
ఎందుకు:
ఒకే అధిక పరిమాణ ప్రాజెక్ట్ మెట్రిక్లను ఆధిపత్యం చేయగలదు.
ప్రభావితమైన చిన్న ప్రాజెక్ట్లు సంబంధం లేని ట్రాఫిక్ వల్ల కప్పివేయబడవచ్చు.
సమస్య నిజంగా సంస్థ అంతటా ఉందని మీరు నమ్మితే మాత్రమే “అన్ని ప్రాజెక్ట్లు” ఎంచుకున్నట్టుగా ఉంచండి.
లోపాల ట్రబుల్షూటింగ్
HTTP అభ్యర్థనల వీక్షణను ఉపయోగించండి
లోపాలను దర్యాప్తు చేయడానికి:
మోడల్ మరియు సర్వీస్ టియర్ ఆధారంగా ఫిల్టర్ చేయండి.
అప్టైమ్ ట్యాబ్కు బదులుగా HTTP అభ్యర్థనలు ట్యాబ్ను తెరవండి.
ఈ వీక్షణ మొత్తం అభ్యర్థనలు మరియు HTTP స్థితి కోడ్ వారీగా లోపాల సంఖ్యలను చూపిస్తుంది. సూక్ష్మ స్పైక్లు లేదా మార్పులను గుర్తించడానికి నిమిష స్థాయి రిజల్యూషన్కు జూమ్ చేయండి.
లోపాల సంఖ్యలను కాకుండా లోప రేట్లను అర్థం చేసుకోండి
ఏ ప్రొడక్షన్ సిస్టమ్లోనైనా కొన్ని లోపాలు ఊహించదగ్గవే. ముడి మొత్తాలపై కాకుండా లోప శాతంపై దృష్టి పెట్టండి.
మీ మొత్తం పరిమాణం ఎంత పెద్దదైతే, అత్యంత తక్కువ లోప రేటు ఉన్నప్పటికీ సంభావ్య లోపాల సంఖ్య అంత పెద్దదవుతుంది.
సర్వీస్ హెల్త్లో లోపాలు కనిపించనప్పుడు
మీకు క్లయింట్ వైపు లోపాలు కనిపించినా, సర్వీస్ హెల్త్లో సంబంధిత డేటా లేకపోతే:
అభ్యర్థనలు OpenAIకి చేరకపోయి ఉండవచ్చు.
సమస్య సాధారణంగా అప్స్ట్రీమ్లో ఉంటుంది (టైమ్అవుట్లు, ప్రాక్సీలు, నెట్వర్కింగ్).
దూకుడైన క్లయింట్ వైపు టైమ్అవుట్లతో ఇది సాధారణం.
లేటెన్సీ ట్రబుల్షూటింగ్
లేటెన్సీ విశ్లేషణ నిర్వచిత SLAలు ఉన్న ప్రయారిటీ మరియు స్కేల్ టియర్లలో అత్యంత అర్థవంతంగా ఉంటుంది. స్టాండర్డ్ టియర్ విస్తృత లేటెన్సీ వైవిధ్యాన్ని చూపవచ్చు, మరియు హామీ ఇచ్చిన లేటెన్సీ ఉండదు.
కీలక మెట్రిక్లు
ప్రతి మెట్రిక్ను చూడటానికి, సంబంధిత ట్యాబ్ను క్లిక్ చేయండి:
టోకెన్ వేగం: సెకనుకు రూపొందించిన టోకెన్లు; ప్రాంప్ట్ పరిమాణంపై ఆధారపడదు.
అభ్యర్థన సమయం: మొత్తం అభ్యర్థన వ్యవధి; అవుట్పుట్ పరిమాణం మరియు రిజనింగ్ వల్ల బలంగా ప్రభావితమవుతుంది.
మొదటి టోకెన్కు సమయం (TTFT): మొదటి టోకెన్ రూపొందే వరకు సమయం; క్యాష్ చేయని ఇన్పుట్ ప్రాంప్ట్ పరిమాణం మరియు రిజనింగ్ వల్ల బలంగా ప్రభావితమవుతుంది.
ఎల్లప్పుడూ P50 / P75 / P95 పర్సెంటైల్లను సమీక్షించండి. సగటులు నిజమైన వినియోగదారు ప్రభావాన్ని దాచగలవు.
6. లేటెన్సీని టోకెన్ వినియోగంతో అనుసంధానించడం
ప్రవర్తన ఎప్పుడు మారిందో సర్వీస్ హెల్త్ చూపిస్తుంది. వినియోగ డేటా ఎందుకు అనేది వివరించడానికి సహాయపడుతుంది.
వినియోగ డ్యాష్బోర్డ్లో, సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లోని మీ వీక్షణకు సంబంధిత డేటాను చూస్తున్నారని నిర్ధారించడానికి క్రింది విధంగా చేయండి:
అదే ప్రాజెక్ట్ మరియు మోడల్కు ఫిల్టర్ చేయండి.
వర్తిస్తే, సర్వీస్ టియర్ ఆధారంగా గ్రూప్ చేయండి.
లేటెన్సీని అత్యంత బలంగా ప్రభావితం చేసే అవుట్పుట్ టోకెన్లపై దృష్టి పెట్టండి.
మరింత లోతైన విశ్లేషణ కోసం, యాక్టివిటీ డేటాను ఎగుమతి చేసి, కాలక్రమంలో ప్రతి అభ్యర్థనకు టోకెన్లను పరిశీలించండి.
7. సపోర్ట్తో ఏమి పంచుకోవాలి (అవసరమైతే)
మీరు సపోర్ట్ను సంప్రదిస్తే, ఇవి చేర్చండి:
ప్రభావిత Org IDలు (ముఖ్యం)
Chat Completions లేదా Responses వంటి ప్రభావిత ఎండ్పాయింట్లు (ముఖ్యం)
ప్రభావిత మోడల్లు (ముఖ్యం)
ఇది స్కేల్ లేదా ప్రయారిటీ టియర్లో ఉందా అనే విషయం (ముఖ్యం)
లేటెన్సీ లేదా లోపాల కోసం టైమ్జోన్తో కూడిన సమయ పరిధులు (ముఖ్యం)
అందుబాటులో ఉంటే, సంబంధిత x-request-id లేదా X-Client-Request-Id
మీరు అందించే అభ్యర్థనల కోసం టైమ్జోన్తో కూడిన టైమ్స్టాంప్లు, లేదా కనీసం తేదీ
అందుబాటులో ఉంటే, ఇవి కూడా చేర్చండి:
అభ్యర్థనలకు సంబంధించిన ప్రాజెక్ట్ ID
డేటా రెసిడెన్సీ అభ్యర్థనలు ప్రభావితమయ్యాయా, మరియు అవి ఏవో
మీరు చూస్తున్న ట్రెండ్ల వివరణలు
సమస్య రకం కోసం, ఇవి చేర్చండి:
లోపాలు: విఫలమవుతున్న లేదా లోపం ఇస్తున్న అభ్యర్థనల సుమారు శాతం, స్పందన కోడ్లు, లోప సందేశాలు, మరియు లోప స్పందన పొందడానికి ఎంత సమయం పట్టింది.
లేటెన్సీ: ఏ పర్సెంటైల్లు ప్రభావితమయ్యాయి (P50 / P90 / P95 / P99), అవి కస్టమర్ బేస్లైన్తో పోలిస్తే ఎంత ఎక్కువగా ఉన్నాయి, మరియు పంపిన, స్వీకరించిన టైమ్స్టాంప్లతో నెమ్మదిగా ఉన్న అభ్యర్థనల ఉదాహరణలు.
రెండూ: లోప లేదా లేటెన్సీ డేటా స్క్రీన్షాట్లు లేదా పట్టిక, అలాగే లోప రేట్లు లేదా లేటెన్సీ ఊహించినదానికంటే ఎక్కువగా ఉన్నాయని మీరు ఎలా నిర్ణయించారు.
సాధారణ ట్రబుల్షూటింగ్ పరిస్థితులు
టైమ్అవుట్లు సంభవిస్తున్నాయి కానీ సర్వీస్ హెల్త్ సాధారణంగా కనిపిస్తోంది
సంభావ్య కారణం: అభ్యర్థనలు OpenAIకి చేరే ముందు టైమ్అవుట్ అవుతున్నాయి.
తనిఖీ చేయండి:
క్లయింట్ లేదా ప్రాక్సీ టైమ్అవుట్ సెట్టింగ్లు
స్థానిక నెట్వర్క్ లేదా లోడ్ బ్యాలెన్సర్ మార్పులు
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లో 499 లోపాల ఉనికి (ఇవి మీ స్వంత సిస్టమ్లలో 5xx లోపాలుగా కనిపించవచ్చు).
డిప్లాయ్మెంట్ లేకుండా లేటెన్సీ పెరిగింది
సంభావ్య కారణం: అవుట్పుట్ టోకెన్ పరిమాణం లేదా రిజనింగ్ వినియోగం పెరిగింది మరియు/లేదా ట్రాఫిక్ సర్వీస్ టియర్ల మధ్య మారింది.
తనిఖీ చేయండి:
వినియోగ డ్యాష్బోర్డ్లో ప్రతి అభ్యర్థనకు సగటు అవుట్పుట్ టోకెన్లు (డేటాను డౌన్లోడ్ చేసి, అవుట్పుట్ టోకెన్లను మొత్తం అభ్యర్థనలతో భాగించాలి).
సర్వీస్ హెల్త్ డ్యాష్బోర్డ్లో అభ్యర్థన సమయం మరియు TTFT పర్సెంటైల్లు.
ప్రయారిటీ లేదా స్కేల్ టియర్ నెమ్మదిగా కనిపిస్తోంది
సంభావ్య కారణం: మెట్రిక్లు టియర్లలో కలిసిపోయాయి, అంటే స్టాండర్డ్-టియర్ ట్రాఫిక్ చెల్లింపు టియర్ పనితీరును కప్పివేస్తోంది.
తనిఖీ చేయండి:
ఫిల్టర్లు ఒకే టియర్ మరియు మోడల్కు పరిమితం చేయబడ్డాయి.
టియర్ల మధ్య టోకెన్ వేగం పోలిక.
5XX లోపాల్లో పెరుగుదల
సంభావ్య కారణం: ట్రాఫిక్లో చిన్న శాతాన్ని ప్రభావితం చేసే తాత్కాలిక వైఫల్యాలు.
తనిఖీ చేయండి:
లోప రేటు శాతం
అదే సమయంలో ట్రాఫిక్ పరిమాణం మారిందా అనేది
సమస్య ఒకే ప్రాజెక్ట్ను మాత్రమే ప్రభావితం చేస్తోంది
సంభావ్య కారణం: ప్రాజెక్ట్-నిర్దిష్ట కాన్ఫిగరేషన్ లేదా వినియోగ నమూనా.
తనిఖీ చేయండి:
ప్రాజెక్ట్-స్థాయి ఫిల్టరింగ్
ప్రభావితం కాని ప్రాజెక్ట్లతో పోలిక
తుది సారాంశాలు
మెట్రిక్లను అర్థం చేసుకునే ముందు, సంబంధిత చోట మోడల్, టియర్ మరియు ప్రాజెక్ట్ ఆధారంగా ఫిల్టర్ చేయండి.
లేటెన్సీ విశ్లేషణ కోసం సగటులను కాకుండా పర్సెంటైల్లను ఉపయోగించండి.
చిన్న లోప రేట్లు ఊహించదగ్గవే.
మిస్సింగ్ డేటా సాధారణంగా అప్స్ట్రీమ్ సమస్యలను సూచిస్తుంది.
లేటెన్సీ ఎందుకు మారిందో వివరించడానికి వినియోగ డేటా సహాయపడుతుంది; ప్రవర్తన ఎప్పుడు మారిందో సర్వీస్ హెల్త్ చూపిస్తుంది.