Viungo Muhimu
Dashibodi ya Afya ya Huduma (kwa sasa inapatikana tu kwa wateja wa Enterprise API)
Anza na Chaguo-msingi Sahihi
Unapofungua dashibodi ya Afya ya Huduma, chaguo-msingi zake ni:
Miradi yote
Siku 30 zilizopita
Mwonekano wa kila saa
Mwonekano huu ni muhimu kwa kujielekeza tu. Utatuzi wenye maana huhitaji uchujaji kila wakati.
Chuja Kabla ya Kuchunguza
Uchujaji sahihi ndio hatua muhimu zaidi. Tafsiri nyingi potovu hutokana na kuchanganya miundo, viwango, au miradi.
Chuja kwa Muundo (Mmoja kwa Wakati)
Chuja kwa muundo mmoja kila wakati.
Sababu:
Matatizo kwenye miundo yenye trafiki ndogo yanaweza kufichwa na trafiki yenye kiasi kikubwa zaidi
Miundo yenye kiasi kikubwa inaweza kufanya matatizo ya eneo maalum yaonekane ya kimataifa
Miundo tofauti ina malengo tofauti ya utendaji
Kumbuka: kuchagua miundo mingi huiunganisha pamoja—hakubadilishi kati yake.
Chuja kwa Kiwango cha Huduma
Ukitumia zaidi ya kiwango kimoja (kawaida, kipaumbele, kuongeza uwezo), chuja kila wakati kwa kiwango unachochunguza.
Sababu:
Viwango vina sifa tofauti za utendaji
Viwango vya kipaumbele na kuongeza uwezo vina SLA zilizobainishwa
Kuchanganya viwango huficha utendaji wa kiwango cha kulipia
Hili ni muhimu hasa kwa uchanganuzi wa ucheleweshaji.
Chuja kwa Mradi
Kwa chaguo-msingi, Afya ya Huduma huonyesha miradi yote.
Kwa utatuzi, chuja kwa mradi/miradi ambapo tatizo lilionekana.
Sababu:
Mradi mmoja wenye kiasi kikubwa unaweza kutawala vipimo.
Miradi midogo iliyoathiriwa inaweza kufichwa na trafiki isiyohusiana.
Acha tu "Miradi yote" ikiwa imechaguliwa iwapo unaamini tatizo ni la shirika lote kweli.
Kutatua Hitilafu
Tumia Mwonekano wa Maombi ya HTTP
Ili kuchunguza hitilafu:
Chuja kwa muundo na kiwango cha huduma.
Fungua kichupo cha Maombi ya HTTP badala ya kichupo cha Muda wa Upatikanaji.
Mwonekano huu unaonyesha jumla ya maombi na idadi ya hitilafu kwa msimbo wa hali wa HTTP. Kuza hadi mwonekano wa kiwango cha dakika ili kutambua ongezeko la ghafla au mabadiliko ya kina.
Fasiri Viwango vya Hitilafu, Si Idadi
Baadhi ya hitilafu zinatarajiwa katika mfumo wowote wa uzalishaji. Zingatia asilimia ya hitilafu, si jumla ghafi.
Kadiri kiasi chako cha jumla kinavyokuwa kikubwa, ndivyo idadi inayowezekana ya hitilafu inavyoweza kuwa kubwa hata kwa kiwango cha hitilafu kilicho chini sana.
Hitilafu Zinapokosekana kwenye Afya ya Huduma
Ukiona hitilafu za upande wa mteja lakini hakuna data inayolingana katika Afya ya Huduma:
Huenda maombi hayakufika OpenAI.
Tatizo kwa kawaida liko upande wa awali (muda kuisha, proksi, mtandao).
Hili ni jambo la kawaida kwa muda mkali wa kuisha upande wa mteja.
Kutatua Ucheleweshaji
Uchanganuzi wa ucheleweshaji una maana zaidi katika viwango vya kipaumbele na kuongeza uwezo, ambavyo vina SLA zilizobainishwa. Kiwango cha kawaida kinaweza kuonyesha utofauti mkubwa zaidi wa ucheleweshaji, na hakina ucheleweshaji uliohakikishwa.
Vipimo Muhimu
Ili kuona kila kipimo, bofya kichupo husika:
Kasi ya Tokeni: Tokeni zinazozalishwa kwa sekunde; haitegemei ukubwa wa dokeza.
Muda wa Ombi: Muda wote wa ombi; huathiriwa sana na ukubwa wa matokeo na uwazaji.
Muda hadi Tokeni ya Kwanza (TTFT): Muda hadi tokeni ya kwanza izalishwe; huathiriwa sana na ukubwa wa dokeza la ingizo lisilohifadhiwa kwenye kache na uwazaji.
Kagua kila wakati asilimia za P50 / P75 / P95. Wastani unaweza kuficha athari kwa watumiaji halisi.
6. Kuhusianisha Ucheleweshaji na Matumizi ya Tokeni
Afya ya Huduma huonyesha lini tabia ilibadilika. Data ya matumizi husaidia kueleza kwa nini.
Katika dashibodi ya Matumizi, fanya yafuatayo ili kuhakikisha unaangalia data inayohusiana na mwonekano wako katika Dashibodi ya Afya ya Huduma:
Chuja kwa mradi na muundo uleule.
Panga kwa kikundi kulingana na kiwango cha huduma, ikitumika.
Zingatia tokeni za matokeo, ambazo huathiri ucheleweshaji kwa nguvu zaidi.
Kwa uchanganuzi wa kina zaidi, hamisha Data ya Shughuli na uchunguze tokeni kwa kila ombi kadiri muda unavyopita.
7. Cha Kushiriki na Usaidizi (Ikihitajika)
Ukiwasiliana na usaidizi, jumuisha:
Vitambulisho vya Mashirika yaliyoathiriwa (muhimu)
Miisho iliyoathiriwa, kama Chat Completions au Responses (muhimu)
Miundo iliyoathiriwa (muhimu)
Iwapo hii iko kwenye kiwango cha Kuongeza Uwezo au Kipaumbele (muhimu)
Vipindi vya muda pamoja na saa za eneo kwa ucheleweshaji au hitilafu (muhimu)
x-request-id au X-Client-Request-Id husika, ikiwa inapatikana
Mihuri ya muda pamoja na saa za eneo, au angalau tarehe, kwa maombi unayotoa
Ikiwa inapatikana, jumuisha pia:
Kitambulisho cha mradi kinachohusiana na maombi
Iwapo maombi ya hifadhi ya data yameathiriwa, na ni yapi
Maelezo ya mienendo unayoona
Kwa aina ya tatizo, jumuisha:
Hitilafu: Takriban asilimia ya maombi yanayoshindwa au kupata hitilafu, misimbo ya majibu, ujumbe wa hitilafu, na muda uliochukua kupokea jibu la hitilafu.
Ucheleweshaji: Asilimia zipi zimeathiriwa (P50 / P90 / P95 / P99), ziko juu kiasi gani ikilinganishwa na msingi wa kawaida wa mteja, na mifano ya maombi ya polepole yenye mihuri ya muda ya kutuma na kupokea.
Zote mbili: Picha za skrini au jedwali la data ya hitilafu au ucheleweshaji, pamoja na jinsi ulivyobaini kuwa viwango vya hitilafu au ucheleweshaji vilikuwa juu kuliko ilivyotarajiwa.
Matukio ya Kawaida ya Utatuzi
Muda Huisha lakini Afya ya Huduma Inaonekana Kawaida
Sababu inayowezekana: muda wa maombi unaisha kabla hayajafika OpenAI.
Kagua:
Mipangilio ya muda wa kuisha ya mteja au proksi
Mabadiliko ya mtandao wa ndani au kisawazisha mzigo
Uwepo wa hitilafu za 499 katika dashibodi ya Afya ya Huduma (hizi zinaweza kuonekana kama hitilafu za 5xx katika mifumo yako mwenyewe).
Ucheleweshaji Uliongezeka Bila Usambazaji
Sababu inayowezekana: ukubwa wa tokeni za matokeo au matumizi ya uwazaji yaliongezeka na/au trafiki ilihama kati ya viwango vya huduma.
Kagua:
Wastani wa tokeni za matokeo kwa kila ombi katika dashibodi ya Matumizi (inahitaji kupakua data na kugawanya tokeni za matokeo kwa jumla ya maombi).
Asilimia za Muda wa Ombi na TTFT katika dashibodi ya Afya ya Huduma.
Kiwango cha Kipaumbele au Kiwango cha Kuongeza Uwezo Kinaonekana Polepole
Sababu inayowezekana: vipimo vimechanganywa katika viwango mbalimbali, yaani trafiki ya kiwango cha kawaida inaficha utendaji wa kiwango cha kulipia.
Kagua:
Vichujio vimezuiwa kwa kiwango na muundo mmoja tu.
Ulinganisho wa kasi ya tokeni kati ya viwango.
Ongezeko la Ghafla la Hitilafu za 5XX
Sababu inayowezekana: kushindwa kwa muda kunakoathiri asilimia ndogo ya trafiki.
Kagua:
Asilimia ya kiwango cha hitilafu
Ikiwa kiasi cha trafiki kilibadilika wakati huo huo
Tatizo Linaathiri Mradi Mmoja Pekee
Sababu inayowezekana: usanidi au muundo wa matumizi maalum kwa mradi.
Kagua:
Uchujaji wa kiwango cha mradi
Ulinganisho na miradi isiyoathiriwa
Mambo Muhimu ya Mwisho
Chuja kwa muundo, kiwango, na mradi panapofaa kabla ya kufasiri vipimo.
Tumia asilimia, si wastani, kwa uchanganuzi wa ucheleweshaji.
Viwango vidogo vya hitilafu vinatarajiwa.
Data inayokosekana kwa kawaida huashiria matatizo ya upande wa awali.
Data ya Matumizi inaweza kusaidia kueleza kwa nini ucheleweshaji ulibadilika; Afya ya Huduma huonyesha lini tabia ilibadilika.