Olulised lingid
Teenuse seisundi armatuurlaud (praegu saadaval ainult Enterprise API klientidele)
Alustage õigetest vaikeväärtustest
Kui avate teenuse seisundi armatuurlaua, on vaikeväärtused järgmised:
Kõik projektid
Viimased 30 päeva
Tunnipõhine eraldusvõime
See vaade on kasulik ainult orienteerumiseks. Sisukas tõrkeotsing nõuab alati filtreerimist.
Filtreerige enne uurimist
Õige filtreerimine on kõige olulisem samm. Enamik valetõlgendusi tuleb mudelite, tasandite või projektide segamisest.
Filtreerige mudeli järgi (ükshaaval)
Filtreerige alati ühe mudelini.
Miks:
Vähese liiklusega mudelite probleemid võivad suurema mahuga liikluse varju jääda
Suure mahuga mudelid võivad muuta kohaliku probleemi globaalseks
Eri mudelitel on erinevad jõudluseesmärgid
Märkus. Mitme mudeli valimine koondab need — see ei lülita nende vahel ümber.
Teenusetasandi järgi filtreerimine
Kui kasutate mitut tasandit (standardtasand, Kiirrežiim (varem prioriteetne töötlemine), Skaleerimistasand), filtreerige alati uuritava tasandi järgi.
Miks?
Tasanditel on erinevad jõudlusomadused
Kiirrežiimil ja Skaleerimistasandil on määratud SLA-d
Tasandite andmete segamine varjab tasulise tasandi jõudlust
See on eriti oluline latentsuse analüüsimisel.
Olemasolevate mudelite Kiirrežiimi liiklus kuvatakse kasutuse juhtpaneelil endiselt väärtusega „priority“.
Filtreerige projekti järgi
Vaikimisi näitab teenuse seisund kõiki projekte.
Tõrkeotsinguks filtreerige projekti või projektideni, kus probleemi täheldati.
Miks:
Üks suure mahuga projekt võib mõõdikutes domineerida.
Väiksemad mõjutatud projektid võivad seosetu liikluse varju jääda.
Jätke „Kõik projektid” valituks ainult siis, kui usute, et probleem puudutab tõesti kogu organisatsiooni.
Vigade tõrkeotsing
Kasutage HTTP-päringute vaadet
Vigade uurimiseks:
Filtreerige mudeli ja teenusetasandi järgi.
Avage vahekaardi Uptime asemel vahekaart HTTP Requests.
See vaade näitab päringute koguarvu ja vigade arvu HTTP olekukoodi järgi. Suurendage minutitaseme eraldusvõimeni, et tuvastada üksikasjalikke järske kasve või muutusi.
Tõlgendage veamäärasid, mitte arvusid
Mõned vead on igas tootmissüsteemis ootuspärased. Keskenduge vigade protsendile, mitte toorarvudele.
Mida suurem on kogumaht, seda suurem võib olla vigade arv isegi ülimalt madala veamäära korral.
Kui vead puuduvad teenuse seisundis
Kui näete kliendipoolseid vigu, kuid teenuse seisundis pole vastavaid andmeid:
Päringud ei jõudnud tõenäoliselt OpenAI-ni.
Probleem on tavaliselt ülesvoolu (ajalõpud, puhverserverid, võrgundus).
See on tavaline agressiivsete kliendipoolsete ajalõppude korral.
Latentsusprobleemide tõrkeotsing
Latentsuse analüüs on kõige sisukam Kiirrežiimi ja Skaleerimistasandi puhul, millele on määratud SLA-d. Standardtasandi latentsus võib rohkem kõikuda ja sellele ei ole tagatud kindlat latentsust.
Põhimõõdikud
Iga mõõdiku vaatamiseks klõpsake asjakohast vahekaarti:
Tokenikiirus: sekundis genereeritud tokenid; ei sõltu viiba suurusest.
Päringu aeg: päringu kogukestus; seda mõjutavad tugevalt väljundi suurus ja arutlus.
Aeg esimese tokenini (TTFT): aeg esimese tokeni genereerimiseni; seda mõjutavad tugevalt vahemällu salvestamata sisendviiba suurus ja arutlus.
Vaadake alati üle P50 / P75 / P95 protsentiilid. Keskmised võivad varjata mõju tegelikele kasutajatele.
Viiteaja ja tokenikasutuse seoste uurimine
Teenuse seisundi vaade näitab, millal teenuse käitumine muutus. Kasutusandmed aitavad selgitada, miks.
Et näha kasutuse töölaual andmeid, mis vastavad teenuse seisundi töölaual valitud vaatele, tee järgmist:
Filtreeri sama projekti ja mudeli järgi.
Vajaduse korral rühmita teenusetasandi järgi.
Keskendu väljundtokenitele, mis mõjutavad viiteaega kõige rohkem.
Põhjalikumaks analüüsiks ekspordi tegevusandmed ja uuri, kuidas tokenite arv päringu kohta aja jooksul muutub.
Mida vajaduse korral kasutajatoega jagada
Kui võtad ühendust kasutajatoega, lisa järgmine teave:
Mõjutatud organisatsioonide ID-d (oluline)
Mõjutatud lõpp-punktid, näiteks Chat Completions või Responses (oluline)
Mõjutatud mudelid (oluline)
Kas probleem esineb kiirrežiimis või skaleerimistasandil (oluline)
Ajavahemikud koos ajavööndiga, mil esines viiteaja probleeme või vigu (oluline)
Asjakohane x-request-id või X-Client-Request-Id, kui see on olemas
Esitatud päringute ajatemplid koos ajavööndiga või vähemalt kuupäev
Võimaluse korral lisa ka järgmine teave:
Päringutega seotud projekti ID
Kas probleem mõjutab päringuid, millele kehtivad andmete asukohanõuded, ja milliseid
Täheldatud suundumuste kirjeldused
Olenevalt probleemi tüübist lisa järgmine teave:
Vead: ebaõnnestunud või veateate tagastanud päringute ligikaudne osakaal protsentides, vastusekoodid, veateated ja veavastuse saamiseks kulunud aeg.
Viiteaeg: millised protsentiilid on mõjutatud (P50 / P90 / P95 / P99), kui palju ületavad nende väärtused kliendi tavapärast taset ning näited aeglastest päringutest koos saatmise ja vastuvõtmise ajatemplitega.
Mõlemad: kuvatõmmised või tabel vigade või viiteaja andmetega ning selgitus, kuidas tegid kindlaks, et vigade määr või viiteaeg oli oodatust suurem.
Levinud tõrkeotsingu stsenaariumid
Tekivad ajalõpud, kuid teenuse seisund näib normaalne
Võimalik põhjus: päringud aeguvad enne OpenAI-ni jõudmist.
Kontrollige:
Kliendi või puhverserveri ajalõpu seaded
Kohaliku võrgu või koormusjaoturi muudatused
499 vigade olemasolu teenuse seisundi armatuurlaual (need võivad teie enda süsteemides ilmuda 5xx vigadena).
Latentsus suurenes ilma juurutuseta
Võimalik põhjus: väljundtokenite maht või arutluse kasutus suurenes ja/või liiklus nihkus teenusetasandite vahel.
Kontrollige:
Keskmised väljundtokenid päringu kohta kasutuse armatuurlaual (nõuab andmete allalaadimist ja väljundtokenite jagamist päringute koguarvuga).
Request Time’i ja TTFT protsentiilid teenuse seisundi armatuurlaual.
Kiirrežiim või Skaleerimistasand töötab aeglaselt
Võimalik põhjus: eri tasandite mõõdikud on kokku liidetud, mistõttu standardtasandi liiklus varjab tasulise tasandi jõudlust.
Kontrollige järgmist:
Filtrid on piiratud ühe tasandi ja mudeliga.
Tokenite väljastuskiiruse võrdlus tasandite vahel.
5XX vigade järsk kasv
Tõenäoline põhjus: ajutised tõrked, mis mõjutavad väikest osa liiklusest.
Kontrollige:
Veamäära protsent
Kas liiklusmaht muutus samal ajal
Probleem mõjutab ainult üht projekti
Tõenäoline põhjus: projektipõhine konfiguratsioon või kasutusmuster.
Kontrollige:
Projektitaseme filtreerimine
Võrdlus mõjutamata projektidega
Lõplikud järeldused
Enne mõõdikute tõlgendamist filtreerige vajaduse korral mudeli, tasandi ja projekti järgi.
Kasutage latentsuse analüüsiks protsentiile, mitte keskmisi.
Väikesed veamäärad on ootuspärased.
Puuduvad andmed viitavad tavaliselt ülesvoolu probleemidele.
Kasutusandmed aitavad selgitada, miks latentsus muutus; teenuse seisund näitab, millal käitumine muutus.