Fontos hivatkozások
Szolgáltatásállapot-irányítópult (jelenleg csak Enterprise API-ügyfelek számára érhető el)
Kezdje a megfelelő alapértelmezésekkel
Amikor megnyitja a Service Health irányítópultot, az alapértelmezés szerint ezt mutatja:
Minden projekt
Az elmúlt 30 nap
Óránkénti felbontás
Ez a nézet csak tájékozódásra hasznos. Az érdemi hibaelhárításhoz mindig szűrés szükséges.
Szűrés a vizsgálat előtt
A helyes szűrés a legfontosabb lépés. A legtöbb félreértelmezés modellek, szintek vagy projektek keveréséből adódik.
Szűrés modell szerint (egyszerre egyre)
Mindig egyetlen modellre szűrjön.
Miért:
Az alacsony forgalmú modellek problémáit elfedheti a nagyobb volumenű forgalom
A nagy volumenű modellek miatt a helyi problémák globálisnak tűnhetnek
A különböző modelleknek eltérő teljesítménycéljaik vannak
Megjegyzés: több modell kiválasztása összesíti őket — nem vált közöttük.
Szűrés Szolgáltatási szint szerint
Ha több szintet használ (normál, Gyors mód – korábban elsőbbségi feldolgozás –, Skálázási szint), mindig szűrjön arra a szintre, amelyet vizsgál.
Miért?
A szintek teljesítményjellemzői eltérőek
A Gyors módhoz és a Skálázási szinthez meghatározott SLA tartozik
A szintek adatainak keverése elfedi a fizetős szint teljesítményét
Ez különösen fontos a késleltetés elemzésekor.
A meglévő modelleknél a Gyors mód forgalma továbbra is „priority” megjelöléssel jelenik meg a Használat irányítópulton.
Szűrés projekt szerint
Alapértelmezés szerint a Service Health minden projektet megjelenít.
Hibaelhárításhoz szűrjön arra a projektre vagy projektekre, ahol a problémát észlelték.
Miért:
Egyetlen nagy volumenű projekt dominálhatja a metrikákat.
A kisebb érintett projekteket elfedheti a nem kapcsolódó forgalom.
Csak akkor hagyja kiválasztva a „Minden projekt” lehetőséget, ha úgy véli, hogy a probléma valóban az egész szervezetet érinti.
Hibák elhárítása
A HTTP-kérések nézet használata
Hibák vizsgálatához:
Szűrjön modell és szolgáltatási szint szerint.
Nyissa meg a HTTP Requests lapot az Uptime lap helyett.
Ez a nézet a kérések teljes számát és a hibaszámokat mutatja HTTP-állapotkód szerint. Nagyítson percszintű felbontásra a részletes kiugrások vagy változások azonosításához.
Hibaarányokat értelmezzen, ne darabszámokat
Bármely éles rendszerben várhatók hibák. A nyers összesítések helyett a hibák százalékos arányára összpontosítson.
Minél nagyobb a teljes volumene, annál nagyobb lehet a hibák száma még rendkívül alacsony hibaarány mellett is.
Amikor a hibák hiányoznak a Service Healthből
Ha ügyféloldali hibákat lát, de nincs megfelelő adat a Service Healthben:
A kérések valószínűleg nem érték el az OpenAI-t.
A probléma általában upstream oldalon van (időtúllépések, proxyk, hálózatkezelés).
Ez gyakori agresszív ügyféloldali időtúllépések esetén.
Késleltetési problémák elhárítása
A késleltetés elemzése a meghatározott SLA-val rendelkező Gyors mód és Skálázási szint esetében a leghasznosabb. A normál szinten nagyobb lehet a késleltetés ingadozása, és nincs garantált késleltetési érték.
Fő metrikák
Az egyes metrikák megtekintéséhez kattintson a megfelelő lapra:
Tokensebesség: Másodpercenként generált tokenek; független az utasítás méretétől.
Kérés időtartama: A kérés teljes időtartama; erősen befolyásolja a kimenet mérete és az érvelés.
Első tokenig eltelt idő (TTFT): Az első token generálásáig eltelt idő; erősen befolyásolja a nem gyorsítótárazott bemeneti utasítás mérete és az érvelés.
Mindig tekintse át a P50 / P75 / P95 percentiliseket. Az átlagok elfedhetik a valós felhasználói hatást.
A késleltetés és a tokenhasználat összefüggése
A szolgáltatás állapota megmutatja, mikor változott a működés. A használati adatok segítenek megérteni, miért.
A Használat irányítópulton végezd el az alábbiakat, hogy a Szolgáltatás állapota irányítópult aktuális nézetének megfelelő adatokat lásd:
Szűrj ugyanarra a projektre és modellre.
Csoportosíts szolgáltatási szint szerint, ha alkalmazható.
A kimeneti tokenekre összpontosíts, mert ezek befolyásolják leginkább a késleltetést.
A részletesebb elemzéshez exportáld a tevékenységi adatokat, és vizsgáld meg a kérésenkénti tokenszám időbeli alakulását.
Mit ossz meg az ügyfélszolgálattal, ha segítségre van szükséged?
Ha az ügyfélszolgálathoz fordulsz, add meg a következőket:
Az érintett szervezetek azonosítói (fontos)
Az érintett végpontok, például Chat Completions vagy Responses (fontos)
Az érintett modellek (fontos)
Az érintett kérésekhez használt szolgáltatási szint, például Standard, Gyors mód vagy Skálázási szint (fontos)
A késleltetési problémák vagy hibák időszakai, időzónával együtt (fontos)
A kapcsolódó x-request-id vagy X-Client-Request-Id, ha rendelkezésre áll
A megadott kérések időbélyegei időzónával együtt, vagy legalább a dátumuk
Ha rendelkezésre állnak, ezeket is add meg:
A kérésekhez kapcsolódó projektazonosító
Érintettek-e az adatok tárolási helyére vonatkozó követelményekkel rendelkező kérések, és ha igen, melyek; add meg az adatok tervezett tárolási régióját és a használt regionális API-gépnevet is
A megfigyelt tendenciák leírása
A modellek és végpontok aktuális regionális támogatásáról itt tájékozódhatsz: Adatkezelési beállítások az OpenAI platformon.
A konfiguráció és a hibák részleteit az érzékeny adatok eltávolítása után oszd meg. Távolítsd el az API-kulcsokat, a hitelesítő adatokat, az utasításokat és az ügyfelek egyéb érzékeny tartalmait a példákból és a képernyőképekről.
A probléma típusától függően add meg a következőket:
Hibák: A sikertelen vagy hibát adó kérések hozzávetőleges százalékos aránya, válaszkódok, hibaüzenetek, valamint a hibaválasz megérkezéséig eltelt idő.
Késleltetés: Mely percentilisek érintettek (P50 / P90 / P95 / P99), mennyivel magasabbak az ügyfélnél szokásos értékeknél, valamint példák lassú kérésekre a küldés és a fogadás időbélyegeivel.
Mindkettő: Képernyőképek vagy táblázat a hibákra vagy a késleltetésre vonatkozó adatokról, valamint annak leírása, hogyan állapítottad meg, hogy a hibaarány vagy a késleltetés a vártnál magasabb volt.
Gyakori hibaelhárítási forgatókönyvek
Időtúllépések történnek, de a Service Health normálisnak tűnik
Lehetséges ok: a kérések időtúllépés miatt megszakadnak, mielőtt elérnék az OpenAI-t.
Ellenőrizze:
Ügyfél- vagy proxyoldali időtúllépési beállítások
Helyi hálózati vagy terheléselosztói változások
499-es hibák jelenléte a Service Health irányítópulton (ezek a saját rendszereiben 5xx hibaként jelenhetnek meg).
A késleltetés telepítés nélkül nőtt
Lehetséges ok: nőtt a kimeneti tokenek mérete vagy az érvelés használata, illetve a forgalom a szolgáltatási szintek között eltolódott.
Ellenőrizze:
Kérésenkénti átlagos kimeneti tokenek a Használati irányítópulton (az adatok letöltése, majd a kimeneti tokenek összes kéréssel való elosztása szükséges).
A Request Time és TTFT percentilisek a Service Health irányítópulton.
A Gyors mód vagy a Skálázási szint lassúnak tűnik
Lehetséges ok: a mérőszámok különböző szintekről származnak, így a normál szint forgalma elfedi a fizetős szint teljesítményét.
Ellenőrizze a következőket:
A szűrők egyetlen szintre és modellre vannak korlátozva.
A tokenek feldolgozási sebességének összehasonlítása a szintek között.
5XX hibák hirtelen megugrása
Valószínű ok: átmeneti hibák, amelyek a forgalom kis százalékát érintik.
Ellenőrizze:
Hibaarány százaléka
Változott-e ugyanakkor a forgalom volumene
A probléma csak egy projektet érint
Valószínű ok: projektspecifikus konfiguráció vagy használati minta.
Ellenőrizze:
Projektszintű szűrés
Összehasonlítás a nem érintett projektekkel
Végső tanulságok
A metrikák értelmezése előtt szükség szerint szűrjön modellre, szintre és projektre.
Késleltetéselemzéshez percentiliseket használjon, ne átlagokat.
Kis hibaarányok várhatók.
A hiányzó adatok általában upstream problémákra utalnak.
A használati adatok segíthetnek megmagyarázni, miért változott a késleltetés; a Service Health azt mutatja, mikor változott a viselkedés.
