Olulised lingid
Teenuse seisundi armatuurlaud (praegu saadaval ainult Enterprise API klientidele)
Alustage õigetest vaikeväärtustest
Kui avate teenuse seisundi armatuurlaua, on vaikeväärtused järgmised:
Kõik projektid
Viimased 30 päeva
Tunnipõhine eraldusvõime
See vaade on kasulik ainult orienteerumiseks. Sisukas tõrkeotsing nõuab alati filtreerimist.
Filtreerige enne uurimist
Õige filtreerimine on kõige olulisem samm. Enamik valetõlgendusi tuleb mudelite, tasandite või projektide segamisest.
Filtreerige mudeli järgi (ükshaaval)
Filtreerige alati ühe mudelini.
Miks:
Vähese liiklusega mudelite probleemid võivad suurema mahuga liikluse varju jääda
Suure mahuga mudelid võivad muuta kohaliku probleemi globaalseks
Eri mudelitel on erinevad jõudluseesmärgid
Märkus. Mitme mudeli valimine koondab need — see ei lülita nende vahel ümber.
Filtreerige teenusetasandi järgi
Kui kasutate rohkem kui üht tasandit (standard, prioriteet, skaleerimine), filtreerige alati tasandini, mida uurite.
Miks:
Tasanditel on erinevad jõudlusomadused
Prioriteet- ja skaleerimistasanditel on määratletud SLA-d
Tasandite segamine varjab tasulise tasandi jõudlust
See on eriti oluline latentsuse analüüsis.
Filtreerige projekti järgi
Vaikimisi näitab teenuse seisund kõiki projekte.
Tõrkeotsinguks filtreerige projekti või projektideni, kus probleemi täheldati.
Miks:
Üks suure mahuga projekt võib mõõdikutes domineerida.
Väiksemad mõjutatud projektid võivad seosetu liikluse varju jääda.
Jätke „Kõik projektid” valituks ainult siis, kui usute, et probleem puudutab tõesti kogu organisatsiooni.
Vigade tõrkeotsing
Kasutage HTTP-päringute vaadet
Vigade uurimiseks:
Filtreerige mudeli ja teenusetasandi järgi.
Avage vahekaardi Uptime asemel vahekaart HTTP Requests.
See vaade näitab päringute koguarvu ja vigade arvu HTTP olekukoodi järgi. Suurendage minutitaseme eraldusvõimeni, et tuvastada üksikasjalikke järske kasve või muutusi.
Tõlgendage veamäärasid, mitte arvusid
Mõned vead on igas tootmissüsteemis ootuspärased. Keskenduge vigade protsendile, mitte toorarvudele.
Mida suurem on kogumaht, seda suurem võib olla vigade arv isegi ülimalt madala veamäära korral.
Kui vead puuduvad teenuse seisundis
Kui näete kliendipoolseid vigu, kuid teenuse seisundis pole vastavaid andmeid:
Päringud ei jõudnud tõenäoliselt OpenAI-ni.
Probleem on tavaliselt ülesvoolu (ajalõpud, puhverserverid, võrgundus).
See on tavaline agressiivsete kliendipoolsete ajalõppude korral.
Latentsuse tõrkeotsing
Latentsuse analüüs on kõige tähenduslikum prioriteet- ja skaleerimistasanditel, millel on määratletud SLA-d. Standardtasandil võib latentsus rohkem varieeruda ja seal pole garanteeritud latentsust.
Põhimõõdikud
Iga mõõdiku vaatamiseks klõpsake asjakohast vahekaarti:
Tokenikiirus: sekundis genereeritud tokenid; ei sõltu viiba suurusest.
Päringu aeg: päringu kogukestus; seda mõjutavad tugevalt väljundi suurus ja arutlus.
Aeg esimese tokenini (TTFT): aeg esimese tokeni genereerimiseni; seda mõjutavad tugevalt vahemällu salvestamata sisendviiba suurus ja arutlus.
Vaadake alati üle P50 / P75 / P95 protsentiilid. Keskmised võivad varjata mõju tegelikele kasutajatele.
6. Latentsuse seostamine tokenikasutusega
Teenuse seisund näitab, millal käitumine muutus. Kasutusandmed aitavad selgitada, miks.
Kasutuse armatuurlaual tehke järgmist, et veenduda, et vaatate teenuse seisundi armatuurlaua vaatega seotud andmeid:
Filtreerige sama projekti ja mudeli järgi.
Rühmitage teenusetasandi järgi, kui see on asjakohane.
Keskenduge väljundtokenitele, mis mõjutavad latentsust kõige tugevamalt.
Sügavamaks analüüsiks eksportige tegevusandmed ja uurige tokeneid päringu kohta aja jooksul.
7. Mida toele jagada (vajaduse korral)
Kui võtate toega ühendust, lisage:
Mõjutatud organisatsiooni ID-d (oluline)
Mõjutatud lõpp-punktid, näiteks Chat Completions või Responses (oluline)
Mõjutatud mudelid (oluline)
Kas see on skaleerimis- või prioriteettasandil (oluline)
Latentsuse või vigade ajavahemikud koos ajavööndiga (oluline)
Asjakohane x-request-id või X-Client-Request-Id, kui see on saadaval
Teie esitatud päringute ajatemplid koos ajavööndiga või vähemalt kuupäev
Kui saadaval, lisage ka:
Päringutega seotud projekti ID
Kas andmete asukohanõuetega päringud on mõjutatud ja millised
Kirjeldused trendidest, mida näete
Probleemi tüübi kohta lisage:
Vead: ebaõnnestuvate või vigu andvate päringute ligikaudne protsent, vastusekoodid, veateated ja kui kaua kulus veavastuse saamiseks.
Latentsus: millised protsentiilid on mõjutatud (P50 / P90 / P95 / P99), kui kõrged need on võrreldes kliendi tavatasemega, ning aeglaste päringute näited koos saatmise ja vastuvõtmise ajatemplitega.
Mõlemad: ekraanipildid või tabel vea- või latentsusandmetega ning kuidas tegite kindlaks, et veamäärad või latentsus olid oodatust kõrgemad.
Levinud tõrkeotsingu stsenaariumid
Tekivad ajalõpud, kuid teenuse seisund näib normaalne
Võimalik põhjus: päringud aeguvad enne OpenAI-ni jõudmist.
Kontrollige:
Kliendi või puhverserveri ajalõpu seaded
Kohaliku võrgu või koormusjaoturi muudatused
499 vigade olemasolu teenuse seisundi armatuurlaual (need võivad teie enda süsteemides ilmuda 5xx vigadena).
Latentsus suurenes ilma juurutuseta
Võimalik põhjus: väljundtokenite maht või arutluse kasutus suurenes ja/või liiklus nihkus teenusetasandite vahel.
Kontrollige:
Keskmised väljundtokenid päringu kohta kasutuse armatuurlaual (nõuab andmete allalaadimist ja väljundtokenite jagamist päringute koguarvuga).
Request Time’i ja TTFT protsentiilid teenuse seisundi armatuurlaual.
Prioriteet- või Skaleerimistasand näib aeglane
Võimalik põhjus: mõõdikud on tasandite vahel segunenud, mistõttu standardtasandi liiklus varjab tasulise tasandi jõudlust.
Kontrollige:
Filtrid on piiratud ühe tasandi ja mudeliga.
Tokenikiiruse võrdlus tasandite vahel.
5XX vigade järsk kasv
Tõenäoline põhjus: ajutised tõrked, mis mõjutavad väikest osa liiklusest.
Kontrollige:
Veamäära protsent
Kas liiklusmaht muutus samal ajal
Probleem mõjutab ainult üht projekti
Tõenäoline põhjus: projektipõhine konfiguratsioon või kasutusmuster.
Kontrollige:
Projektitaseme filtreerimine
Võrdlus mõjutamata projektidega
Lõplikud järeldused
Enne mõõdikute tõlgendamist filtreerige vajaduse korral mudeli, tasandi ja projekti järgi.
Kasutage latentsuse analüüsiks protsentiile, mitte keskmisi.
Väikesed veamäärad on ootuspärased.
Puuduvad andmed viitavad tavaliselt ülesvoolu probleemidele.
Kasutusandmed aitavad selgitada, miks latentsus muutus; teenuse seisund näitab, millal käitumine muutus.