Pomembne povezave
Nadzorna plošča stanja storitve (trenutno na voljo samo strankam API-ja Enterprise)
Začnite s pravimi privzetimi nastavitvami
Ko odprete nadzorno ploščo stanja storitve, je privzeto nastavljena na:
Vsi projekti
Zadnjih 30 dni
Urna ločljivost
Ta pogled je uporaben samo za orientacijo. Smiselno odpravljanje težav vedno zahteva filtriranje.
Filtrirajte pred preiskovanjem
Pravilno filtriranje je najpomembnejši korak. Večina napačnih razlag izhaja iz mešanja modelov, ravni ali projektov.
Filtrirajte po modelu (enega naenkrat)
Vedno filtrirajte na en sam model.
Zakaj:
Težave pri modelih z malo prometa lahko skrije promet z večjim obsegom
Modeli z velikim obsegom lahko povzročijo, da so lokalizirane težave videti globalne
Različni modeli imajo različne cilje zmogljivosti
Opomba: izbira več modelov jih združi – ne preklaplja med njimi.
Filtriranje po ravni storitve
Če uporabljate več ravni (standardno, hitri način, prej imenovan prednostna obdelava, ali lestvico zmogljivosti), vedno izberite filter za raven, ki jo preiskujete.
Zakaj:
Ravni imajo različne značilnosti delovanja
Za hitri način in lestvico zmogljivosti so opredeljene pogodbe SLA
Združevanje ravni prikriva učinkovitost plačljive ravni
To je še posebej pomembno pri analizi zakasnitve.
Pri obstoječih modelih je promet hitrega načina na nadzorni plošči za uporabo še vedno prikazan kot prednostni.
Filtrirajte po projektu
Stanje storitve privzeto prikazuje vse projekte.
Za odpravljanje težav filtrirajte na projekt(e), kjer je bila težava opažena.
Zakaj:
En sam projekt z velikim obsegom lahko prevlada v metrikah.
Manjše prizadete projekte lahko prikrije nepovezan promet.
Izbiro „Vsi projekti“ pustite samo, če menite, da težava resnično vpliva na celotno organizacijo.
Odpravljanje napak
Uporabite pogled zahtev HTTP
Za preiskovanje napak:
Filtrirajte po modelu in ravni storitve.
Odprite zavihek Zahteve HTTP namesto zavihka Čas delovanja.
Ta pogled prikazuje skupno število zahtev in število napak po kodi stanja HTTP. Povečajte na minutno ločljivost, da prepoznate podrobne poraste ali spremembe.
Razlagajte stopnje napak, ne števila
Nekatere napake so pričakovane v vsakem produkcijskem sistemu. Osredotočite se na odstotek napak, ne na surove vsote.
Večji kot je vaš skupni obseg, večje je lahko število napak tudi pri izjemno nizki stopnji napak.
Ko napake manjkajo v stanju storitve
Če vidite napake na strani odjemalca, v stanju storitve pa ni ustreznih podatkov:
Zahteve verjetno niso dosegle OpenAI.
Težava je običajno višje v verigi (časovne omejitve, posredniški strežniki, omrežje).
To je pogosto pri agresivnih časovnih omejitvah na strani odjemalca.
Odpravljanje težav z zakasnitvijo
Analiza zakasnitve je najbolj smiselna pri hitrem načinu in lestvici zmogljivosti, za katera so opredeljene pogodbe SLA. Pri standardni ravni so lahko razlike v zakasnitvi večje, zagotovljena zakasnitev pa ni določena.
Ključne metrike
Za ogled posamezne metrike kliknite ustrezen zavihek:
Hitrost žetonov: žetoni, ustvarjeni na sekundo; neodvisno od velikosti poziva.
Čas zahteve: skupno trajanje zahteve; nanj močno vplivata velikost izhoda in sklepanje.
Čas do prvega žetona (TTFT): čas do ustvaritve prvega žetona; nanj močno vplivata velikost nepredpomnjenega vhodnega poziva in sklepanje.
Vedno preglejte percentile P50 / P75 / P95. Povprečja lahko skrijejo vpliv na resnične uporabnike.
6. Povezovanje zakasnitve z uporabo žetonov
Stanje storitve pokaže, kdaj se je vedenje spremenilo. Podatki o uporabi pomagajo pojasniti, zakaj.
Na nadzorni plošči uporabe naredite naslednje, da zagotovite, da gledate podatke, ustrezne vašemu pogledu na nadzorni plošči stanja storitve:
Filtrirajte na isti projekt in model.
Združite po ravni storitve, če je ustrezno.
Osredotočite se na izhodne žetone, ki najmočneje vplivajo na zakasnitev.
Za globljo analizo izvozite podatke o dejavnosti in preučite žetone na zahtevo skozi čas.
7. Kaj po potrebi posredovati podpori
Ko se obrnete na podporo, navedite:
ID-je prizadetih organizacij (pomembno)
Prizadete končne točke, kot sta Chat Completions ali Responses (pomembno)
Prizadete modele (pomembno)
Ali se težava pojavlja pri hitrem načinu ali lestvici zmogljivosti (pomembno)
Časovna obdobja s časovnim pasom za zakasnitve ali napake (pomembno)
Ustrezni x-request-id ali X-Client-Request-Id, če so na voljo
Časovne žige s časovnim pasom ali vsaj datum posredovanih zahtev
Če je mogoče, navedite tudi:
ID projekta, povezanega z zahtevami
Ali težava vpliva na zahteve z lokalno hrambo podatkov in na katere
Opis opaženih trendov
Glede na vrsto težave navedite:
Napake: približni delež neuspešnih zahtev ali zahtev z napako, odzivne kode, sporočila o napakah in čas do prejema odziva z napako.
Zakasnitev: kateri percentili so prizadeti (P50/P90/P95/P99), koliko presegajo običajne vrednosti stranke ter primeri počasnih zahtev s časovnimi žigi pošiljanja in prejema.
Oboje: posnetki zaslona ali tabela s podatki o napakah oziroma zakasnitvi ter pojasnilo, kako ste ugotovili, da so stopnje napak ali zakasnitve višje od pričakovanih.
Pogosti scenariji odpravljanja težav
Pojavijo se časovne omejitve, vendar je stanje storitve videti normalno
Možen vzrok: zahteve dosežejo časovno omejitev, preden dosežejo OpenAI.
Preverite:
Nastavitve časovne omejitve odjemalca ali posredniškega strežnika
Spremembe lokalnega omrežja ali izenačevalnika obremenitve
Prisotnost napak 499 na nadzorni plošči stanja storitve (te se lahko v vaših sistemih prikažejo kot napake 5xx).
Zakasnitev se je povečala brez uvedbe
Možen vzrok: povečala se je velikost izhodnih žetonov ali uporaba sklepanja in/ali se je promet premaknil med ravnmi storitve.
Preverite:
Povprečno število izhodnih žetonov na zahtevo na nadzorni plošči uporabe (zahteva prenos podatkov in deljenje izhodnih žetonov s skupnim številom zahtev).
Percentili časa zahteve in TTFT na nadzorni plošči stanja storitve.
Hitri način ali lestvica zmogljivosti deluje počasi
Možni vzrok: meritve različnih ravni so združene, zato promet standardne ravni prikriva učinkovitost plačljive ravni.
Preverite:
Filtri so omejeni na eno raven in en model.
Primerjava hitrosti ustvarjanja žetonov med ravnmi.
Porast napak 5XX
Verjeten vzrok: prehodne napake, ki vplivajo na majhen odstotek prometa.
Preverite:
Odstotek stopnje napak
Ali se je ob istem času spremenil obseg prometa
Težava vpliva samo na en projekt
Verjeten vzrok: konfiguracija ali vzorec uporabe, specifičen za projekt.
Preverite:
Filtriranje na ravni projekta
Primerjava s projekti, na katere težava ne vpliva
Končni povzetki
Pred razlago metrik po potrebi filtrirajte po modelu, ravni in projektu.
Za analizo zakasnitve uporabite percentile, ne povprečij.
Majhne stopnje napak so pričakovane.
Manjkajoči podatki običajno kažejo na težave višje v verigi.
Podatki o uporabi lahko pomagajo pojasniti, zakaj se je zakasnitev spremenila; stanje storitve pokaže, kdaj se je vedenje spremenilo.