Links Importanti
Dashboard tas-Saħħa tas-Servizz (bħalissa disponibbli biss għall-klijenti Enterprise API)
Ibda bil-Valuri Predefiniti t-Tajba
Meta tiftaħ id-dashboard tas-Saħħa tas-Servizz, dan jaqbeż għal:
Il-proġetti kollha
L-aħħar 30 jum
Riżoluzzjoni kull siegħa
Din il-veduta hija utli għall-orjentazzjoni biss. Soluzzjoni ta’ problemi sinifikanti dejjem teħtieġ iffiltrar.
Iffiltra Qabel Tinvestiga
L-iffiltrar korrett huwa l-aktar pass importanti. Il-biċċa l-kbira tal-interpretazzjonijiet żbaljati jiġu mit-taħlit ta’ mudelli, livelli jew proġetti.
Iffiltra skont il-Mudell (Wieħed kull Darba)
Dejjem iffiltra għal mudell wieħed.
Għaliex:
Problemi fuq mudelli bi traffiku baxx jistgħu jinħbew minn traffiku b’volum ogħla
Mudelli b’volum għoli jistgħu jagħmlu problemi lokalizzati jidhru globali
Mudelli differenti għandhom għanijiet ta’ prestazzjoni differenti
Nota: l-għażla ta’ mudelli multipli taggregahom — ma taqlebx bejniethom.
Iffiltra skont il-Livell tas-Servizz
Jekk tuża aktar minn livell wieħed (standard, Modalità veloċi (li qabel kienet Priority processing), Livell ta’ Eskalaġġ), dejjem iffiltra skont il-livell li qed tinvestiga.
Għaliex:
Il-livelli għandhom karatteristiċi ta’ prestazzjoni differenti
Il-Modalità veloċi u l-Livell ta’ Eskalaġġ għandhom SLAs definiti
It-taħlit tal-livelli jaħbi l-prestazzjoni tal-livell imħallas
Dan huwa importanti b’mod speċjali għall-analiżi tal-latenza.
Għall-mudelli eżistenti, it-traffiku tal-Modalità veloċi għadu jidher bħala priority fid-dashboard tal-Użu.
Iffiltra skont il-Proġett
B’mod predefinit, Service Health turi l-proġetti kollha.
Għas-soluzzjoni ta’ problemi, iffiltra għall-proġett(i) fejn ġiet osservata l-problema.
Għaliex:
Proġett wieħed b’volum għoli jista’ jiddomina l-metriċi.
Proġetti iżgħar affettwati jistgħu jinħbew minn traffiku mhux relatat.
Ħalli "Il-proġetti kollha" magħżula biss jekk temmen li l-problema hija tassew mifruxa mal-organizzazzjoni kollha.
Soluzzjoni ta’ Problemi b’Iżbalji
Uża l-Veduta tat-Talbiet HTTP
Biex tinvestiga l-iżbalji:
Iffiltra skont il-mudell u l-Livell tas-Servizz.
Iftaħ it-tab Talbiet HTTP minflok it-tab Uptime.
Din il-veduta turi t-talbiet totali u l-għadd ta’ żbalji skont il-kodiċi tal-istatus HTTP. Kabbar għal riżoluzzjoni fil-livell tal-minuta biex tidentifika żidiet jew bidliet granulari.
Interpreta r-Rati ta’ Żbalji, Mhux l-Għadd
Xi żbalji huma mistennija fi kwalunkwe sistema ta’ produzzjoni. Iffoka fuq il-perċentwal tal-iżbalji, mhux fuq it-totali mhux ipproċessati.
Aktar ma jkun kbir il-volum totali tiegħek, aktar ikun kbir in-numru potenzjali ta’ żbalji anke b’rata ta’ żbalji estremament baxxa.
Meta l-Iżbalji Jkunu Nieqsa minn Service Health
Jekk tara żbalji min-naħa tal-klijent iżda ebda dejta korrispondenti f’Service Health:
It-talbiet probabbilment ma laħqux lil OpenAI.
Il-problema ġeneralment tkun upstream (timeouts, proxies, netwerking).
Dan huwa komuni ma’ timeouts aggressivi min-naħa tal-klijent.
Soluzzjoni ta’ Problemi ta’ Latenza
L-analiżi tal-latenza hija l-aktar utli fil-livelli Modalità veloċi u Livell ta’ Eskalaġġ, li għandhom SLAs definiti. Il-livell standard jista’ juri varjazzjoni akbar fil-latenza u ma joffrix latenza ggarantita.
Metriċi Ewlenin
Biex tara kull metrika, ikklikkja t-tab rilevanti:
Veloċità tat-Token: Tokens iġġenerati kull sekonda; indipendenti mid-daqs tal-prompt.
Ħin tat-Talba: Durata totali tat-talba; affettwata ħafna mid-daqs tal-output u r-raġunament.
Ħin sal-Ewwel Token (TTFT): Ħin sakemm jiġi ġġenerat l-ewwel token; affettwat ħafna mid-daqs tal-prompt tal-input mhux fil-cache u r-raġunament.
Dejjem irrevedi l-perċentili P50 / P75 / P95. Il-medji jistgħu jaħbu l-impatt fuq l-utenti reali.
6. Korrellazzjoni tal-Latenza mal-Użu tat-Token
Service Health turi meta nbidlet l-imġiba. Id-dejta tal-użu tgħin tispjega għaliex.
Fid-dashboard tal-Użu, agħmel dan li ġej biex tiżgura li qed tħares lejn id-dejta rilevanti għall-veduta tiegħek fid-Dashboard tas-Saħħa tas-Servizz:
Iffiltra għall-istess proġett u mudell.
Gruppa skont il-Livell tas-Servizz, jekk applikabbli.
Iffoka fuq it-tokens tal-output, li jaffettwaw il-latenza bl-aktar mod qawwi.
Għal analiżi aktar profonda, esporta Activity Data u eżamina t-tokens għal kull talba matul iż-żmien.
7. X’Għandek Taqsam mal-Appoġġ (Jekk Meħtieġ)
Jekk tikkuntattja lill-appoġġ, inkludi:
IDs tal-organizzazzjonijiet affettwati (importanti)
Endpoints affettwati, bħal Chat Completions jew Responses (importanti)
Mudelli affettwati (importanti)
Jekk dan hux fil-Modalità veloċi jew fil-Livell ta’ Eskalaġġ (importanti)
Meded ta’ ħin biż-żona tal-ħin għal-latenza jew għall-iżbalji (importanti)
x-request-id jew X-Client-Request-Id rilevanti, jekk disponibbli
Marki tal-ħin biż-żona tal-ħin, jew tal-inqas id-data, għat-talbiet li tipprovdi
Jekk disponibbli, inkludi wkoll:
L-ID tal-proġett relatat mat-talbiet
Jekk humiex affettwati t-talbiet marbuta mar-residenza tad-dejta, u liema huma
Deskrizzjonijiet tax-xejriet li qed tara
Skont it-tip ta’ problema, inkludi:
Żbalji: Il-persentaġġ approssimattiv ta’ talbiet li jfallu jew jirritornaw żball, il-kodiċijiet tar-rispons, il-messaġġi tal-iżball, u kemm dam biex wasal ir-rispons bl-iżball.
Latenza: Liema perċentili huma affettwati (P50 / P90 / P95 / P99), kemm huma għoljin meta mqabbla mal-linja bażi tal-klijent, u eżempji ta’ talbiet bil-mod bil-marki tal-ħin ta’ meta ntbagħtu u waslu.
It-tnejn: Screenshots jew tabella bid-dejta dwar l-iżbalji jew il-latenza, flimkien ma’ kif iddeterminajt li r-rati tal-iżbalji jew il-latenza kienu ogħla milli mistenni.
Xenarji Komuni ta’ Soluzzjoni ta’ Problemi
Iseħħu Timeouts iżda Service Health Tidher Normali
Kawża possibbli: it-talbiet qed jagħmlu timeout qabel jilħqu lil OpenAI.
Iċċekkja:
Settings tat-timeout tal-klijent jew tal-proxy
Bidliet fin-netwerk lokali jew fil-load balancer
Preżenza ta’ żbalji 499 fid-dashboard tas-Saħħa tas-Servizz (dawn jistgħu jidhru bħala żbalji 5xx fis-sistemi tiegħek stess).
Il-Latenza Żdiedet Mingħajr Deploy
Kawża possibbli: id-daqs tat-token tal-output jew l-użu tar-raġunament żdied u/jew it-traffiku ċċaqlaq bejn il-livelli tas-servizz.
Iċċekkja:
Tokens medji tal-output għal kull talba fid-dashboard tal-Użu (jeħtieġ tniżżil tad-dejta u diviżjoni tat-tokens tal-output bit-total tat-talbiet).
Il-perċentili ta’ Request Time u TTFT fid-dashboard tas-Saħħa tas-Servizz.
Il-Modalità veloċi jew il-Livell ta’ Eskalaġġ Jidhru Bil-mod
Kawża possibbli: il-metriċi huma mħallta bejn il-livelli, u għalhekk it-traffiku tal-livell standard qed jaħbi l-prestazzjoni tal-livell imħallas.
Iċċekkja:
Il-filtri huma limitati għal livell u mudell wieħed.
Tqabbil tal-veloċità tat-tokens bejn il-livelli.
Żieda fl-Iżbalji 5XX
Kawża probabbli: fallimenti temporanji li jaffettwaw perċentwal żgħir tat-traffiku.
Iċċekkja:
Perċentwal tar-rata ta’ żbalji
Jekk il-volum tat-traffiku nbidilx fl-istess ħin
Il-Problema Taffettwa Proġett Wieħed Biss
Kawża probabbli: konfigurazzjoni jew mudell ta’ użu speċifiku għall-proġett.
Iċċekkja:
Iffiltrar fil-livell tal-proġett
Tqabbil ma’ proġetti mhux affettwati
Konklużjonijiet Finali
Iffiltra skont il-mudell, il-livell u l-proġett fejn rilevanti qabel tinterpreta l-metriċi.
Uża perċentili, mhux medji, għall-analiżi tal-latenza.
Rati żgħar ta’ żbalji huma mistennija.
Dejta nieqsa ġeneralment tindika problemi upstream.
Id-dejta tal-użu tista’ tgħin tispjega għaliex il-latenza nbidlet; Service Health turi meta nbidlet l-imġiba.