Pomembne povezave
Nadzorna plošča stanja storitve (trenutno na voljo samo strankam API-ja Enterprise)
Začnite s pravimi privzetimi nastavitvami
Ko odprete nadzorno ploščo stanja storitve, je privzeto nastavljena na:
Vsi projekti
Zadnjih 30 dni
Urna ločljivost
Ta pogled je uporaben samo za orientacijo. Smiselno odpravljanje težav vedno zahteva filtriranje.
Filtrirajte pred preiskovanjem
Pravilno filtriranje je najpomembnejši korak. Večina napačnih razlag izhaja iz mešanja modelov, ravni ali projektov.
Filtrirajte po modelu (enega naenkrat)
Vedno filtrirajte na en sam model.
Zakaj:
Težave pri modelih z malo prometa lahko skrije promet z večjim obsegom
Modeli z velikim obsegom lahko povzročijo, da so lokalizirane težave videti globalne
Različni modeli imajo različne cilje zmogljivosti
Opomba: izbira več modelov jih združi – ne preklaplja med njimi.
Filtrirajte po ravni storitve
Če uporabljate več kot eno raven (standardno, prednostno, zmogljivostno), vedno filtrirajte na raven, ki jo preiskujete.
Zakaj:
Ravni imajo različne značilnosti zmogljivosti
Prednostna raven in raven zmogljivosti imata določene SLA-je
Mešanje ravni prikrije zmogljivost plačljive ravni
To je še posebej pomembno za analizo zakasnitve.
Filtrirajte po projektu
Stanje storitve privzeto prikazuje vse projekte.
Za odpravljanje težav filtrirajte na projekt(e), kjer je bila težava opažena.
Zakaj:
En sam projekt z velikim obsegom lahko prevlada v metrikah.
Manjše prizadete projekte lahko prikrije nepovezan promet.
Izbiro „Vsi projekti“ pustite samo, če menite, da težava resnično vpliva na celotno organizacijo.
Odpravljanje napak
Uporabite pogled zahtev HTTP
Za preiskovanje napak:
Filtrirajte po modelu in ravni storitve.
Odprite zavihek Zahteve HTTP namesto zavihka Čas delovanja.
Ta pogled prikazuje skupno število zahtev in število napak po kodi stanja HTTP. Povečajte na minutno ločljivost, da prepoznate podrobne poraste ali spremembe.
Razlagajte stopnje napak, ne števila
Nekatere napake so pričakovane v vsakem produkcijskem sistemu. Osredotočite se na odstotek napak, ne na surove vsote.
Večji kot je vaš skupni obseg, večje je lahko število napak tudi pri izjemno nizki stopnji napak.
Ko napake manjkajo v stanju storitve
Če vidite napake na strani odjemalca, v stanju storitve pa ni ustreznih podatkov:
Zahteve verjetno niso dosegle OpenAI.
Težava je običajno višje v verigi (časovne omejitve, posredniški strežniki, omrežje).
To je pogosto pri agresivnih časovnih omejitvah na strani odjemalca.
Odpravljanje težav z zakasnitvijo
Analiza zakasnitve je najbolj smiselna na prednostni ravni in ravni zmogljivosti, ki imata določene SLA-je. Standardna raven lahko kaže večje nihanje zakasnitve in nima zajamčene zakasnitve.
Ključne metrike
Za ogled posamezne metrike kliknite ustrezen zavihek:
Hitrost žetonov: žetoni, ustvarjeni na sekundo; neodvisno od velikosti poziva.
Čas zahteve: skupno trajanje zahteve; nanj močno vplivata velikost izhoda in sklepanje.
Čas do prvega žetona (TTFT): čas do ustvaritve prvega žetona; nanj močno vplivata velikost nepredpomnjenega vhodnega poziva in sklepanje.
Vedno preglejte percentile P50 / P75 / P95. Povprečja lahko skrijejo vpliv na resnične uporabnike.
6. Povezovanje zakasnitve z uporabo žetonov
Stanje storitve pokaže, kdaj se je vedenje spremenilo. Podatki o uporabi pomagajo pojasniti, zakaj.
Na nadzorni plošči uporabe naredite naslednje, da zagotovite, da gledate podatke, ustrezne vašemu pogledu na nadzorni plošči stanja storitve:
Filtrirajte na isti projekt in model.
Združite po ravni storitve, če je ustrezno.
Osredotočite se na izhodne žetone, ki najmočneje vplivajo na zakasnitev.
Za globljo analizo izvozite podatke o dejavnosti in preučite žetone na zahtevo skozi čas.
7. Kaj deliti s podporo (če je potrebno)
Če se obrnete na podporo, vključite:
Prizadeti ID-ji organizacij (pomembno)
Prizadete končne točke, kot sta Chat Completions ali Responses (pomembno)
Prizadeti modeli (pomembno)
Ali gre za raven Scale ali Priority (pomembno)
Časovni razponi s časovnim pasom za zakasnitev ali napake (pomembno)
Ustrezen x-request-id ali X-Client-Request-Id, če je na voljo
Časovni žigi s časovnim pasom ali vsaj datum za zahteve, ki jih posredujete
Če je na voljo, vključite tudi:
ID projekta, povezan z zahtevami
Ali so prizadete zahteve za lokalno hrambo podatkov in katere
Opisi trendov, ki jih opažate
Za vrsto težave vključite:
Napake: približen odstotek neuspešnih zahtev ali zahtev z napako, kode odziva, sporočila o napakah in koliko časa je trajalo, da ste prejeli odziv z napako.
Zakasnitev: kateri percentili so prizadeti (P50 / P90 / P95 / P99), kako visoki so v primerjavi z izhodiščno vrednostjo stranke, in primeri počasnih zahtev s časovnimi žigi pošiljanja in prejema.
Oboje: posnetki zaslona ali tabela podatkov o napakah ali zakasnitvi ter kako ste ugotovili, da so bile stopnje napak ali zakasnitev višje od pričakovanega.
Pogosti scenariji odpravljanja težav
Pojavijo se časovne omejitve, vendar je stanje storitve videti normalno
Možen vzrok: zahteve dosežejo časovno omejitev, preden dosežejo OpenAI.
Preverite:
Nastavitve časovne omejitve odjemalca ali posredniškega strežnika
Spremembe lokalnega omrežja ali izenačevalnika obremenitve
Prisotnost napak 499 na nadzorni plošči stanja storitve (te se lahko v vaših sistemih prikažejo kot napake 5xx).
Zakasnitev se je povečala brez uvedbe
Možen vzrok: povečala se je velikost izhodnih žetonov ali uporaba sklepanja in/ali se je promet premaknil med ravnmi storitve.
Preverite:
Povprečno število izhodnih žetonov na zahtevo na nadzorni plošči uporabe (zahteva prenos podatkov in deljenje izhodnih žetonov s skupnim številom zahtev).
Percentili časa zahteve in TTFT na nadzorni plošči stanja storitve.
Raven Priority ali Scale Tier se zdi počasna
Možen vzrok: metrike so pomešane med ravnmi, kar pomeni, da promet standardne ravni prikriva zmogljivost plačljive ravni.
Preverite:
Filtri so omejeni na eno raven in model.
Primerjava hitrosti žetonov med ravnmi.
Porast napak 5XX
Verjeten vzrok: prehodne napake, ki vplivajo na majhen odstotek prometa.
Preverite:
Odstotek stopnje napak
Ali se je ob istem času spremenil obseg prometa
Težava vpliva samo na en projekt
Verjeten vzrok: konfiguracija ali vzorec uporabe, specifičen za projekt.
Preverite:
Filtriranje na ravni projekta
Primerjava s projekti, na katere težava ne vpliva
Končni povzetki
Pred razlago metrik po potrebi filtrirajte po modelu, ravni in projektu.
Za analizo zakasnitve uporabite percentile, ne povprečij.
Majhne stopnje napak so pričakovane.
Manjkajoči podatki običajno kažejo na težave višje v verigi.
Podatki o uporabi lahko pomagajo pojasniti, zakaj se je zakasnitev spremenila; stanje storitve pokaže, kdaj se je vedenje spremenilo.