મહત્વપૂર્ણ લિંક્સ
સેવા આરોગ્ય ડેશબોર્ડ (હાલમાં માત્ર એન્ટરપ્રાઇઝ API ગ્રાહકો માટે ઉપલબ્ધ)
યોગ્ય ડિફોલ્ટ્સથી શરૂઆત કરો
જ્યારે તમે સેવા આરોગ્ય ડેશબોર્ડ ખોલો છો, ત્યારે તે ડિફોલ્ટ રૂપે આ બતાવે છે:
બધા પ્રોજેક્ટ્સ
છેલ્લા 30 દિવસ
કલાકદીઠ રિઝોલ્યુશન
આ દૃશ્ય માત્ર દિશા સમજવા માટે ઉપયોગી છે. અર્થપૂર્ણ મુશ્કેલીનિવારણ માટે હંમેશાં ફિલ્ટરિંગ જરૂરી છે.
તપાસ પહેલાં ફિલ્ટર કરો
યોગ્ય ફિલ્ટરિંગ સૌથી મહત્વપૂર્ણ પગલું છે. મોટાભાગની ખોટી સમજ મોડલ, સ્તરો અથવા પ્રોજેક્ટ્સને મિક્સ કરવાથી થાય છે.
મોડલ મુજબ ફિલ્ટર કરો (એક સમયે એક)
હંમેશાં એક જ મોડલ સુધી ફિલ્ટર કરો.
શા માટે:
ઓછા ટ્રાફિકવાળા મોડલ પરની સમસ્યાઓ વધુ વોલ્યુમવાળા ટ્રાફિકથી છુપાઈ શકે છે
વધુ વોલ્યુમવાળા મોડલ સ્થાનિક સમસ્યાઓને વૈશ્વિક જેવી દેખાડી શકે છે
અલગ-અલગ મોડલના કામગીરી લક્ષ્યો અલગ હોય છે
નોંધ: અનેક મોડલ પસંદ કરવાથી તે એકત્રિત થાય છે—તે તેમની વચ્ચે સ્વિચ કરતું નથી.
સેવાના સ્તર મુજબ ફિલ્ટર કરો
જો તમે એકથી વધુ સ્તર (સ્ટાન્ડર્ડ, પ્રાથમિકતા, વ્યાપકતા) વાપરો છો, તો તમે જે સ્તરની તપાસ કરી રહ્યા છો તે સ્તર સુધી હંમેશાં ફિલ્ટર કરો.
શા માટે:
સ્તરોની કામગીરી વિશેષતાઓ અલગ હોય છે
પ્રાથમિકતા અને વ્યાપકતા સ્તરોમાં નિર્ધારિત SLAs હોય છે
સ્તરો મિક્સ કરવાથી પેઇડ-સ્તરની કામગીરી અસ્પષ્ટ થાય છે
લેટન્સી વિશ્લેષણ માટે આ ખાસ કરીને મહત્વપૂર્ણ છે.
પ્રોજેક્ટ મુજબ ફિલ્ટર કરો
ડિફોલ્ટ રૂપે, સેવા આરોગ્ય બધા પ્રોજેક્ટ્સ બતાવે છે.
મુશ્કેલીનિવારણ માટે, જ્યાં સમસ્યા જોવામાં આવી હતી તે પ્રોજેક્ટ(ઓ) સુધી ફિલ્ટર કરો.
શા માટે:
એક વધુ વોલ્યુમવાળો પ્રોજેક્ટ મેટ્રિક્સ પર પ્રભુત્વ મેળવી શકે છે.
અસરગ્રસ્ત નાના પ્રોજેક્ટ્સ અસંબંધિત ટ્રાફિકથી ઢંકાઈ શકે છે.
જો તમને લાગે કે સમસ્યા ખરેખર સમગ્ર સંસ્થામાં છે તો જ "બધા પ્રોજેક્ટ્સ" પસંદ રાખો.
ભૂલોનું મુશ્કેલીનિવારણ
HTTP વિનંતીઓનું દૃશ્ય વાપરો
ભૂલોની તપાસ કરવા માટે:
મોડલ અને સેવાના સ્તર મુજબ ફિલ્ટર કરો.
અપટાઇમ ટેબને બદલે HTTP વિનંતીઓ ટેબ ખોલો.
આ દૃશ્ય HTTP સ્થિતિ કોડ મુજબ કુલ વિનંતીઓ અને ભૂલની સંખ્યા બતાવે છે. સૂક્ષ્મ અચાનક વધારા અથવા ફેરફારો ઓળખવા માટે મિનિટ-સ્તરના રિઝોલ્યુશન સુધી ઝૂમ કરો.
ભૂલની સંખ્યા નહીં, દરોનું અર્થઘટન કરો
કોઈપણ પ્રોડક્શન સિસ્ટમમાં કેટલીક ભૂલો અપેક્ષિત હોય છે. કાચા કુલ આંકડા નહીં, ભૂલની ટકાવારી પર ધ્યાન આપો.
તમારું કુલ વોલ્યુમ જેટલું મોટું, અત્યંત ઓછા ભૂલ દર સાથે પણ સંભવિત ભૂલોની સંખ્યા એટલી મોટી.
જ્યારે સેવા આરોગ્યમાં ભૂલો ગુમ હોય
જો તમને ક્લાયંટ-સાઇડ ભૂલો દેખાય પરંતુ સેવા આરોગ્યમાં અનુરૂપ ડેટા ન હોય:
વિનંતીઓ કદાચ OpenAI સુધી પહોંચી નથી.
સમસ્યા સામાન્ય રીતે અપસ્ટ્રીમ હોય છે (ટાઇમઆઉટ્સ, પ્રોક્સીઓ, નેટવર્કિંગ).
આ આક્રમક ક્લાયંટ-સાઇડ ટાઇમઆઉટ્સ સાથે સામાન્ય છે.
લેટન્સીનું મુશ્કેલીનિવારણ
લેટન્સી વિશ્લેષણ પ્રાથમિકતા અને વ્યાપકતા સ્તરો પર સૌથી વધુ અર્થપૂર્ણ છે, જેમાં નિર્ધારિત SLAs હોય છે. સ્ટાન્ડર્ડ સ્તર લેટન્સીમાં વધારે ફેરફાર બતાવી શકે છે, અને તેમાં ગેરંટીવાળી લેટન્સી નથી.
મુખ્ય મેટ્રિક્સ
દરેક મેટ્રિક જોવા માટે સંબંધિત ટેબ પર ક્લિક કરો:
ટોકન વેગ: પ્રતિ સેકન્ડ જનરેટ થયેલા ટોકન; પ્રોમ્પ્ટ કદથી સ્વતંત્ર.
વિનંતી સમય: કુલ વિનંતી અવધિ; આઉટપુટ કદ અને રિઝનિંગથી ખૂબ પ્રભાવિત.
પ્રથમ ટોકન સુધીનો સમય (TTFT): પ્રથમ ટોકન જનરેટ થાય ત્યાં સુધીનો સમય; કૅશ ન થયેલા ઇનપુટ પ્રોમ્પ્ટ કદ અને રિઝનિંગથી ખૂબ પ્રભાવિત.
હંમેશાં P50 / P75 / P95 પર્સેન્ટાઇલ્સની સમીક્ષા કરો. સરેરાશો વાસ્તવિક વપરાશકર્તા પરની અસરને છુપાવી શકે છે.
6. લેટન્સીને ટોકન વપરાશ સાથે સહસંબંધિત કરવું
સેવા આરોગ્ય વર્તન ક્યારે બદલાયું તે બતાવે છે. વપરાશ ડેટા શા માટે તે સમજાવવામાં મદદ કરે છે.
વપરાશ ડેશબોર્ડમાં, સેવા આરોગ્ય ડેશબોર્ડમાં તમારા દૃશ્ય સાથે સંબંધિત ડેટા તમે જોઈ રહ્યા છો તેની ખાતરી કરવા માટે નીચે મુજબ કરો:
એ જ પ્રોજેક્ટ અને મોડલ સુધી ફિલ્ટર કરો.
જો લાગુ પડે, તો સેવાના સ્તર મુજબ ગ્રુપ કરો.
આઉટપુટ ટોકન પર ધ્યાન આપો, જે લેટન્સીને સૌથી વધુ અસર કરે છે.
વધુ ઊંડા વિશ્લેષણ માટે, પ્રવૃત્તિ ડેટા નિકાસ કરો અને સમય સાથે પ્રતિ વિનંતી ટોકનનું પરીક્ષણ કરો.
7. સપોર્ટ સાથે શું શેર કરવું (જરૂર હોય તો)
જો તમે સપોર્ટનો સંપર્ક કરો, તો સામેલ કરો:
અસરગ્રસ્ત Org IDs (મહત્વપૂર્ણ)
અસરગ્રસ્ત એન્ડપોઇન્ટ્સ, જેમ કે Chat Completions અથવા Responses (મહત્વપૂર્ણ)
અસરગ્રસ્ત મોડલ્સ (મહત્વપૂર્ણ)
આ વ્યાપકતા અથવા પ્રાથમિકતા સ્તર પર છે કે નહીં (મહત્વપૂર્ણ)
લેટન્સી અથવા ભૂલો માટે સમયઝોન સાથે સમય શ્રેણીઓ (મહત્વપૂર્ણ)
સંબંધિત x-request-id અથવા X-Client-Request-Id, જો ઉપલબ્ધ હોય
તમે આપેલી વિનંતીઓ માટે સમયઝોન સાથે ટાઇમસ્ટેમ્પ્સ, અથવા ઓછામાં ઓછું તારીખ
જો ઉપલબ્ધ હોય, તો આ પણ સામેલ કરો:
વિનંતીઓથી સંબંધિત પ્રોજેક્ટ ID
ડેટા રેસિડન્સી વિનંતીઓ અસરગ્રસ્ત છે કે નહીં, અને કઈ
તમે જોઈ રહ્યા છો તે ટ્રેન્ડ્સના વર્ણનો
સમસ્યાના પ્રકાર માટે, સામેલ કરો:
ભૂલો: નિષ્ફળ થતી અથવા ભૂલ આપતી વિનંતીઓની આશરે ટકાવારી, પ્રતિસાદ કોડ્સ, ભૂલ સંદેશાઓ, અને ભૂલ પ્રતિસાદ પ્રાપ્ત કરવામાં લાગેલો સમય.
લેટન્સી: કયા પર્સેન્ટાઇલ્સ અસરગ્રસ્ત છે (P50 / P90 / P95 / P99), ગ્રાહકના બેઝલાઇનની તુલનામાં તે કેટલા ઊંચા છે, અને મોકલવા તથા પ્રાપ્ત કરવાના ટાઇમસ્ટેમ્પ્સ સાથે ધીમી વિનંતીઓના ઉદાહરણો.
બંને: ભૂલ અથવા લેટન્સી ડેટાના સ્ક્રીનશોટ્સ અથવા ટેબલ, તેમજ ભૂલ દરો અથવા લેટન્સી અપેક્ષા કરતાં વધારે હતા તે તમે કેવી રીતે નક્કી કર્યું.
સામાન્ય મુશ્કેલીનિવારણ પરિસ્થિતિઓ
ટાઇમઆઉટ્સ થાય છે પરંતુ સેવા આરોગ્ય સામાન્ય લાગે છે
સંભવિત કારણ: વિનંતીઓ OpenAI સુધી પહોંચે તે પહેલાં જ ટાઇમઆઉટ થઈ રહી છે.
તપાસો:
ક્લાયંટ અથવા પ્રોક્સી ટાઇમઆઉટ સેટિંગ્સ
સ્થાનિક નેટવર્ક અથવા લોડ બેલેન્સરમાં ફેરફારો
સેવા આરોગ્ય ડેશબોર્ડમાં 499 ભૂલોની હાજરી (આ તમારી પોતાની સિસ્ટમ્સમાં 5xx ભૂલો તરીકે દેખાઈ શકે છે).
ડિપ્લોયમેન્ટ વિના લેટન્સી વધી
સંભવિત કારણ: આઉટપુટ ટોકન કદ અથવા રિઝનિંગ વપરાશ વધ્યો છે અને/અથવા ટ્રાફિક સેવાના સ્તરો વચ્ચે ખસ્યો છે.
તપાસો:
વપરાશ ડેશબોર્ડમાં પ્રતિ વિનંતી સરેરાશ આઉટપુટ ટોકન (ડેટા ડાઉનલોડ કરીને આઉટપુટ ટોકનને કુલ વિનંતીઓથી ભાગવાની જરૂર છે).
સેવા આરોગ્ય ડેશબોર્ડમાં વિનંતી સમય અને TTFT પર્સેન્ટાઇલ્સ.
પ્રાથમિકતા અથવા વ્યાપકતાનું સ્તર ધીમું લાગે છે
સંભવિત કારણ: મેટ્રિક્સ સ્તરોમાં મિક્સ થયા છે, એટલે કે સ્ટાન્ડર્ડ-સ્તરનો ટ્રાફિક પેઇડ-સ્તરની કામગીરીને ઢાંકી રહ્યો છે.
તપાસો:
ફિલ્ટર્સ એક જ સ્તર અને મોડલ સુધી મર્યાદિત છે.
સ્તરો વચ્ચે ટોકન વેગની તુલના.
5XX ભૂલોમાં અચાનક વધારો
સંભવિત કારણ: ટ્રાફિકના નાના ટકાવારીને અસર કરતી અસ્થાયી નિષ્ફળતાઓ.
તપાસો:
ભૂલ દરની ટકાવારી
ટ્રાફિક વોલ્યુમ એ જ સમયે બદલાયું હતું કે નહીં
સમસ્યા માત્ર એક પ્રોજેક્ટને અસર કરે છે
સંભવિત કારણ: પ્રોજેક્ટ-વિશિષ્ટ કન્ફિગરેશન અથવા વપરાશ પેટર્ન.
તપાસો:
પ્રોજેક્ટ-સ્તરનું ફિલ્ટરિંગ
અસર ન થયેલા પ્રોજેક્ટ્સ સાથે તુલના
અંતિમ નિષ્કર્ષો
મેટ્રિક્સનું અર્થઘટન કરતાં પહેલાં, જ્યાં સંબંધિત હોય ત્યાં મોડલ, સ્તર અને પ્રોજેક્ટ મુજબ ફિલ્ટર કરો.
લેટન્સી વિશ્લેષણ માટે સરેરાશો નહીં, પર્સેન્ટાઇલ્સ વાપરો.
નાના ભૂલ દરો અપેક્ષિત છે.
ગુમ થયેલો ડેટા સામાન્ય રીતે અપસ્ટ્રીમ સમસ્યાઓ સૂચવે છે.
વપરાશ ડેટા લેટન્સી શા માટે બદલાઈ તે સમજાવવામાં મદદ કરી શકે છે; સેવા આરોગ્ય વર્તન ક્યારે બદલાયું તે બતાવે છે.