Svarbios nuorodos
Paslaugos būklės ataskaitų sritis (šiuo metu pasiekiama tik Enterprise API klientams)
Pradėkite nuo tinkamų numatytųjų nustatymų
Atidarius Paslaugos būklės ataskaitų sritį, numatytieji nustatymai yra:
Visi projektai
Pastarosios 30 dienų
Valandinė skyra
Šis rodinys naudingas tik orientacijai. Prasmingam trikčių šalinimui visada reikia filtravimo.
Filtruokite prieš tirdami
Teisingas filtravimas yra svarbiausias žingsnis. Dauguma klaidingų interpretacijų kyla maišant modelius, lygmenis arba projektus.
Filtruokite pagal modelį (po vieną)
Visada filtruokite iki vieno modelio.
Kodėl:
Mažo srauto modelių problemos gali būti paslėptos didesnės apimties srauto
Didelės apimties modeliai gali sudaryti įspūdį, kad lokalios problemos yra globalios
Skirtingi modeliai turi skirtingus našumo tikslus
Pastaba: pasirinkus kelis modelius, jie agreguojami — sistema nepersijungia tarp jų.
Filtravimas pagal Paslaugos lygmenį
Jei naudojate daugiau nei vieną lygmenį (standartinį, Spartųjį režimą (anksčiau – prioritetinis apdorojimas), Plėtros lygmenį), visada filtruokite pagal tiriamą lygmenį.
Kodėl:
Lygmenų našumo charakteristikos skiriasi
Sparčiajam režimui ir Plėtros lygmeniui nustatyti SLA
Sumaišius lygmenis, mokamo lygmens našumas tampa neaiškus
Tai ypač svarbu analizuojant delsą.
Esamų modelių Sparčiojo režimo srautas naudojimo informacijos suvestinėje vis dar rodomas kaip „priority“.
Filtruokite pagal projektą
Pagal numatytuosius nustatymus Service Health rodo visus projektus.
Trikčių šalinimui filtruokite iki projekto (-ų), kuriame (-iuose) pastebėta problema.
Kodėl:
Vienas didelės apimties projektas gali dominuoti metrikose.
Mažesni paveikti projektai gali būti užgožti nesusijusio srauto.
Palikite pasirinktą „Visi projektai“ tik jei manote, kad problema iš tiesų apima visą organizaciją.
Klaidų trikčių šalinimas
Naudokite HTTP užklausų rodinį
Norėdami tirti klaidas:
Filtruokite pagal modelį ir paslaugos lygmenį.
Atidarykite skirtuką HTTP Requests, o ne skirtuką Uptime.
Šiame rodinyje rodomas bendras užklausų skaičius ir klaidų skaičiai pagal HTTP būsenos kodą. Priartinkite iki minutės lygio skyros, kad nustatytumėte smulkius šuolius arba pokyčius.
Interpretuokite klaidų dažnius, o ne skaičius
Kai kurios klaidos tikėtinos bet kurioje gamybinėje sistemoje. Sutelkite dėmesį į klaidų procentą, o ne į neapdorotas bendras sumas.
Kuo didesnė bendra apimtis, tuo didesnis galimas klaidų skaičius net esant itin mažam klaidų dažniui.
Kai klaidų nėra Service Health ataskaitų srityje
Jei matote kliento pusės klaidas, bet Service Health nėra atitinkamų duomenų:
Užklausos greičiausiai nepasiekė OpenAI.
Problema paprastai yra aukštesniame lygmenyje (laiko limitai, tarpiniai serveriai, tinklas).
Tai dažna taikant agresyvius kliento pusės laiko limitus.
Delsos trikčių šalinimas
Delsos analizė prasmingiausia pasirinkus Spartųjį režimą arba Plėtros lygmenį, kuriems nustatyti SLA. Standartinio lygmens delsa gali svyruoti labiau, be to, jos trukmė negarantuojama.
Pagrindinės metrikos
Norėdami peržiūrėti kiekvieną metriką, spustelėkite atitinkamą skirtuką:
Žetonų sparta: per sekundę sugeneruoti žetonai; nepriklauso nuo užklausos dydžio.
Užklausos laikas: bendra užklausos trukmė; ją labai veikia išvesties dydis ir protavimas.
Laikas iki pirmojo žetono (TTFT): laikas, kol sugeneruojamas pirmasis žetonas; jį labai veikia neįrašytos į podėlį įvesties užklausos dydis ir protavimas.
Visada peržiūrėkite P50 / P75 / P95 procentilius. Vidurkiai gali paslėpti poveikį tikriesiems naudotojams.
6. Delsos koreliavimas su žetonų naudojimu
Service Health rodo, kada elgsena pasikeitė. Naudojimo duomenys padeda paaiškinti, kodėl.
Naudojimo ataskaitų srityje atlikite šiuos veiksmus, kad įsitikintumėte, jog žiūrite duomenis, susijusius su jūsų rodiniu Paslaugos būklės ataskaitų srityje:
Filtruokite pagal tą patį projektą ir modelį.
Grupuokite pagal paslaugos lygmenį, jei taikoma.
Sutelkite dėmesį į išvesties žetonus, kurie labiausiai veikia delsą.
Gilesnei analizei eksportuokite veiklos duomenis ir nagrinėkite žetonus vienai užklausai laikui bėgant.
7. Kokią informaciją pateikti palaikymo komandai (jei reikia)
Kreipdamiesi į palaikymo komandą pateikite:
Paveiktų organizacijų ID (svarbu)
Paveiktus galinius taškus, pvz., Chat Completions arba Responses (svarbu)
Paveiktus modelius (svarbu)
Ar problema susijusi su Sparčiuoju režimu, ar Plėtros lygmeniu (svarbu)
Delsos arba klaidų laikotarpius, nurodant laiko juostą (svarbu)
Susijusį x-request-id arba X-Client-Request-Id, jei turite
Pateikiamų užklausų laiko žymas su laiko juosta arba bent datą
Jei turite, taip pat pateikite:
Su užklausomis susijusį projekto ID
Ar paveiktos užklausos, kurioms taikomi duomenų saugojimo vietos reikalavimai, ir kurios konkrečiai
Pastebimų tendencijų aprašymus
Atsižvelgdami į problemos tipą, pateikite:
Klaidos: apytikslę nesėkmingų arba klaidą grąžinančių užklausų procentinę dalį, atsakymo kodus, klaidų pranešimus ir kiek laiko užtruko gauti klaidos atsakymą.
Delsa: paveiktus procentilius (P50 / P90 / P95 / P99), kiek jų reikšmės viršija kliento bazinį lygį, ir lėtų užklausų pavyzdžius su išsiuntimo bei gavimo laiko žymomis.
Abi problemos: klaidų arba delsos duomenų ekrano kopijas ar lentelę ir paaiškinimą, kaip nustatėte, kad klaidų dažnis arba delsa buvo didesni, nei tikėtasi.
Dažni trikčių šalinimo scenarijai
Įvyksta laiko limitai, bet Service Health atrodo normaliai
Galima priežastis: užklausoms baigiasi laikas prieš pasiekiant OpenAI.
Patikrinkite:
Kliento arba tarpinio serverio laiko limito nustatymai
Vietinio tinklo arba apkrovos balansavimo priemonės pokyčiai
499 klaidų buvimas Service Health ataskaitų srityje (jūsų sistemose jos gali būti rodomos kaip 5xx klaidos).
Delsa padidėjo be diegimo
Galima priežastis: padidėjo išvesties žetonų dydis arba protavimo naudojimas ir (arba) srautas persikėlė tarp paslaugos lygmenų.
Patikrinkite:
Vidutinis išvesties žetonų skaičius vienai užklausai naudojimo ataskaitų srityje (reikia atsisiųsti duomenis ir padalyti išvesties žetonus iš visų užklausų).
Request Time ir TTFT procentiliai Paslaugos būklės ataskaitų srityje.
Spartusis režimas arba Plėtros lygmuo veikia lėtai
Galima priežastis: skirtingų lygmenų metrikos vertinamos kartu, todėl standartinio lygmens srautas užgožia mokamo lygmens našumą.
Patikrinkite:
Filtruose pasirinktas tik vienas lygmuo ir modelis.
Žetonų generavimo spartos palyginimą tarp lygmenų.
5XX klaidų šuolis
Tikėtina priežastis: laikini sutrikimai, paveikiantys nedidelę srauto dalį.
Patikrinkite:
Klaidų dažnio procentas
Ar tuo pačiu metu pasikeitė srauto apimtis
Problema paveikia tik vieną projektą
Tikėtina priežastis: projektui būdinga konfigūracija arba naudojimo modelis.
Patikrinkite:
Filtravimas projekto lygmeniu
Palyginimas su nepaveiktais projektais
Galutinės išvados
Prieš interpretuodami metrikas, kai aktualu, filtruokite pagal modelį, lygmenį ir projektą.
Delsos analizei naudokite procentilius, o ne vidurkius.
Nedideli klaidų dažniai yra tikėtini.
Trūkstami duomenys paprastai rodo aukštesnio lygio problemas.
Naudojimo duomenys gali padėti paaiškinti, kodėl delsa pasikeitė; Service Health rodo, kada elgsena pasikeitė.