Pomembne povezave
Nadzorna plošča stanja storitve (trenutno na voljo samo strankam API-ja Enterprise)
Začnite s pravimi privzetimi nastavitvami
Ko odprete nadzorno ploščo stanja storitve, je privzeto nastavljena na:
Vsi projekti
Zadnjih 30 dni
Urna ločljivost
Ta pogled je uporaben samo za orientacijo. Smiselno odpravljanje težav vedno zahteva filtriranje.
Filtrirajte pred preiskovanjem
Pravilno filtriranje je najpomembnejši korak. Večina napačnih razlag izhaja iz mešanja modelov, ravni ali projektov.
Filtrirajte po modelu (enega naenkrat)
Vedno filtrirajte na en sam model.
Zakaj:
Težave pri modelih z malo prometa lahko skrije promet z večjim obsegom
Modeli z velikim obsegom lahko povzročijo, da so lokalizirane težave videti globalne
Različni modeli imajo različne cilje zmogljivosti
Opomba: izbira več modelov jih združi – ne preklaplja med njimi.
Filtriranje po ravni storitve
Če uporabljate več ravni (standardno, hitri način, prej imenovan prednostna obdelava, ali lestvico zmogljivosti), vedno izberite filter za raven, ki jo preiskujete.
Zakaj:
Ravni imajo različne značilnosti delovanja
Za hitri način in lestvico zmogljivosti so opredeljene pogodbe SLA
Združevanje ravni prikriva učinkovitost plačljive ravni
To je še posebej pomembno pri analizi zakasnitve.
Pri obstoječih modelih je promet hitrega načina na nadzorni plošči za uporabo še vedno prikazan kot prednostni.
Filtrirajte po projektu
Stanje storitve privzeto prikazuje vse projekte.
Za odpravljanje težav filtrirajte na projekt(e), kjer je bila težava opažena.
Zakaj:
En sam projekt z velikim obsegom lahko prevlada v metrikah.
Manjše prizadete projekte lahko prikrije nepovezan promet.
Izbiro „Vsi projekti“ pustite samo, če menite, da težava resnično vpliva na celotno organizacijo.
Odpravljanje napak
Uporabite pogled zahtev HTTP
Za preiskovanje napak:
Filtrirajte po modelu in ravni storitve.
Odprite zavihek Zahteve HTTP namesto zavihka Čas delovanja.
Ta pogled prikazuje skupno število zahtev in število napak po kodi stanja HTTP. Povečajte na minutno ločljivost, da prepoznate podrobne poraste ali spremembe.
Razlagajte stopnje napak, ne števila
Nekatere napake so pričakovane v vsakem produkcijskem sistemu. Osredotočite se na odstotek napak, ne na surove vsote.
Večji kot je vaš skupni obseg, večje je lahko število napak tudi pri izjemno nizki stopnji napak.
Ko napake manjkajo v stanju storitve
Če vidite napake na strani odjemalca, v stanju storitve pa ni ustreznih podatkov:
Zahteve verjetno niso dosegle OpenAI.
Težava je običajno višje v verigi (časovne omejitve, posredniški strežniki, omrežje).
To je pogosto pri agresivnih časovnih omejitvah na strani odjemalca.
Odpravljanje težav z zakasnitvijo
Analiza zakasnitve je najbolj smiselna pri hitrem načinu in lestvici zmogljivosti, za katera so opredeljene pogodbe SLA. Pri standardni ravni so lahko razlike v zakasnitvi večje, zagotovljena zakasnitev pa ni določena.
Ključne metrike
Za ogled posamezne metrike kliknite ustrezen zavihek:
Hitrost žetonov: žetoni, ustvarjeni na sekundo; neodvisno od velikosti poziva.
Čas zahteve: skupno trajanje zahteve; nanj močno vplivata velikost izhoda in sklepanje.
Čas do prvega žetona (TTFT): čas do ustvaritve prvega žetona; nanj močno vplivata velikost nepredpomnjenega vhodnega poziva in sklepanje.
Vedno preglejte percentile P50 / P75 / P95. Povprečja lahko skrijejo vpliv na resnične uporabnike.
Povezava med zakasnitvijo in porabo žetonov
Stanje storitve prikazuje, kdaj se je delovanje spremenilo. Podatki o uporabi pomagajo pojasniti, zakaj.
Na nadzorni plošči Uporaba naredite naslednje, da bodo prikazani podatki ustrezali vašemu pogledu na nadzorni plošči Stanje storitve:
Filtrirajte po istem projektu in modelu.
Po potrebi združite po ravni storitve.
Osredotočite se na izhodne žetone, ki najbolj vplivajo na zakasnitev.
Za podrobnejšo analizo izvozite podatke o dejavnosti in preučite, kako se število žetonov na zahtevo spreminja skozi čas.
Kaj posredovati podpori (po potrebi)
Če se obrnete na podporo, navedite:
ID-je organizacij, pri katerih prihaja do težav (pomembno)
Končne točke, pri katerih prihaja do težav, na primer Chat Completions ali Responses (pomembno)
Modele, pri katerih prihaja do težav (pomembno)
Ali do težav prihaja v hitrem načinu ali na lestvici zmogljivosti (pomembno)
Časovna obdobja, v katerih prihaja do zakasnitev ali napak, skupaj s časovnim pasom (pomembno)
Ustrezni x-request-id ali X-Client-Request-Id, če je na voljo
Časovne žige s časovnim pasom ali vsaj datum za zahteve, ki jih navedete
Če so na voljo, vključite tudi:
ID projekta, povezanega z zahtevami
Ali težave vplivajo na zahteve z lokalno hrambo podatkov in na katere
Opise trendov, ki jih opažate
Glede na vrsto težave vključite:
Napake: Približen odstotek neuspešnih zahtev ali zahtev, ki vrnejo napako, kode odgovorov, sporočila o napakah in čas do prejema odgovora z napako.
Zakasnitev: Pri katerih percentilih prihaja do težav (P50 / P90 / P95 / P99), za koliko njihove vrednosti presegajo običajne vrednosti stranke ter primere počasnih zahtev s časovnimi žigi pošiljanja in prejema.
Oboje: Posnetke zaslona ali tabelo s podatki o napakah ali zakasnitvah ter pojasnilo, kako ste ugotovili, da je bil delež napak ali zakasnitev večji od pričakovanega.
Pogosti scenariji odpravljanja težav
Pojavijo se časovne omejitve, vendar je stanje storitve videti normalno
Možen vzrok: zahteve dosežejo časovno omejitev, preden dosežejo OpenAI.
Preverite:
Nastavitve časovne omejitve odjemalca ali posredniškega strežnika
Spremembe lokalnega omrežja ali izenačevalnika obremenitve
Prisotnost napak 499 na nadzorni plošči stanja storitve (te se lahko v vaših sistemih prikažejo kot napake 5xx).
Zakasnitev se je povečala brez uvedbe
Možen vzrok: povečala se je velikost izhodnih žetonov ali uporaba sklepanja in/ali se je promet premaknil med ravnmi storitve.
Preverite:
Povprečno število izhodnih žetonov na zahtevo na nadzorni plošči uporabe (zahteva prenos podatkov in deljenje izhodnih žetonov s skupnim številom zahtev).
Percentili časa zahteve in TTFT na nadzorni plošči stanja storitve.
Hitri način ali lestvica zmogljivosti deluje počasi
Možni vzrok: meritve različnih ravni so združene, zato promet standardne ravni prikriva učinkovitost plačljive ravni.
Preverite:
Filtri so omejeni na eno raven in en model.
Primerjava hitrosti ustvarjanja žetonov med ravnmi.
Porast napak 5XX
Verjeten vzrok: prehodne napake, ki vplivajo na majhen odstotek prometa.
Preverite:
Odstotek stopnje napak
Ali se je ob istem času spremenil obseg prometa
Težava vpliva samo na en projekt
Verjeten vzrok: konfiguracija ali vzorec uporabe, specifičen za projekt.
Preverite:
Filtriranje na ravni projekta
Primerjava s projekti, na katere težava ne vpliva
Končni povzetki
Pred razlago metrik po potrebi filtrirajte po modelu, ravni in projektu.
Za analizo zakasnitve uporabite percentile, ne povprečij.
Majhne stopnje napak so pričakovane.
Manjkajoči podatki običajno kažejo na težave višje v verigi.
Podatki o uporabi lahko pomagajo pojasniti, zakaj se je zakasnitev spremenila; stanje storitve pokaže, kdaj se je vedenje spremenilo.