Tärkeät linkit
Palvelun kunnon koontinäyttö (tällä hetkellä vain Enterprise API -asiakkaiden saatavilla)
Aloita oikeilla oletuksilla
Kun avaat Palvelun kunnon koontinäytön, sen oletukset ovat:
Kaikki projektit
Viimeiset 30 päivää
Tuntitason tarkkuus
Tämä näkymä on hyödyllinen vain yleiskuvan saamiseen. Merkityksellinen vianmääritys edellyttää aina suodatusta.
Suodata ennen tutkimista
Oikea suodatus on tärkein vaihe. Useimmat virhetulkinnat johtuvat mallien, tasojen tai projektien sekoittamisesta.
Suodata mallin mukaan (yksi kerrallaan)
Suodata aina yhteen malliin.
Miksi:
Vähäliikenteisten mallien ongelmat voivat peittyä suuremman volyymin liikenteeseen
Suuren volyymin mallit voivat saada paikalliset ongelmat näyttämään globaaleilta
Eri malleilla on erilaiset suorituskykytavoitteet
Huomautus: useiden mallien valitseminen yhdistää ne – se ei vaihda niiden välillä.
Suodata Palvelutason mukaan
Jos käytät useampaa kuin yhtä tasoa (vakiotaso, Nopea tila (aiemmin Priority processing), Skaalataso), suodata aina näkyviin tutkittava taso.
Miksi:
Tasojen suorituskykyominaisuudet eroavat toisistaan
Nopea tila- ja Skaalataso-vaihtoehdoille on määritetty palvelutasosopimukset
Tasojen sekoittaminen peittää maksullisen tason suorituskyvyn
Tämä on erityisen tärkeää viiveanalyysissä.
Nykyisten mallien Nopea tila -liikenne näkyy Usage-hallintapaneelissa edelleen arvolla priority.
Suodata projektin mukaan
Oletusarvoisesti Palvelun kunto näyttää kaikki projektit.
Suodata vianmääritystä varten projektiin tai projekteihin, joissa ongelma havaittiin.
Miksi:
Yksi suuren volyymin projekti voi hallita mittareita.
Pienemmät projektit, joihin ongelma vaikuttaa, voivat peittyä asiaan liittymättömään liikenteeseen.
Jätä ”Kaikki projektit” valituksi vain, jos uskot ongelman todella koskevan koko organisaatiota.
Virheiden vianmääritys
Käytä HTTP-pyyntöjen näkymää
Virheiden tutkiminen:
Suodata mallin ja palvelutason mukaan.
Avaa HTTP-pyynnöt-välilehti Käyttöaika-välilehden sijaan.
Tämä näkymä näyttää pyyntöjen kokonaismäärän ja virheiden määrät HTTP-tilakoodin mukaan. Tarkenna minuutin tarkkuuteen, jotta voit tunnistaa yksityiskohtaiset piikit tai muutokset.
Tulkitse virheprosentteja, älä määriä
Joitakin virheitä on odotettavissa missä tahansa tuotantojärjestelmässä. Keskity virheiden prosenttiosuuteen, älä raakamääriin.
Mitä suurempi kokonaisvolyymi on, sitä suurempi voi olla virheiden määrä, vaikka virheprosentti olisi erittäin pieni.
Kun virheitä puuttuu Palvelun kunnosta
Jos näet asiakaspuolen virheitä, mutta Palvelun kunnossa ei ole vastaavia tietoja:
Pyynnöt eivät todennäköisesti saavuttaneet OpenAI:ta.
Ongelma on yleensä ylävirrassa (aikakatkaisut, välityspalvelimet, verkko).
Tämä on yleistä aggressiivisten asiakaspuolen aikakatkaisujen yhteydessä.
Viiveongelmien vianmääritys
Viiveanalyysi on hyödyllisintä Nopea tila- ja Skaalataso-palvelutasoilla, joille on määritetty palvelutasosopimukset. Vakiotasolla viive voi vaihdella enemmän, eikä viiveelle ole takuuta.
Keskeiset mittarit
Näet kunkin mittarin napsauttamalla asianmukaista välilehteä:
Token-nopeus: sekunnissa luodut tokenit; riippumaton kehotteen koosta.
Pyyntöaika: pyynnön kokonaiskesto; tulosteen koko ja päättely vaikuttavat siihen voimakkaasti.
Aika ensimmäiseen tokeniin (TTFT): aika ensimmäisen tokenin luomiseen; välimuistiin tallentamattoman syötekehotteen koko ja päättely vaikuttavat siihen voimakkaasti.
Tarkista aina P50-, P75- ja P95-persentiilit. Keskiarvot voivat peittää todellisen vaikutuksen käyttäjiin.
Viiveen ja tokenien käytön yhteys
Palvelun tila näyttää, milloin toiminta muuttui. Käyttötiedot auttavat selittämään, miksi.
Varmista seuraavilla toimilla Käyttö-koontinäytössä, että tarkastelemasi tiedot vastaavat Palvelun tila -koontinäytön näkymää:
Suodata tiedot saman projektin ja mallin mukaan.
Ryhmittele tiedot tarvittaessa palvelutason mukaan.
Keskity tulosteen tokeneihin, sillä ne vaikuttavat viiveeseen eniten.
Jos haluat tehdä tarkemman analyysin, vie toimintatiedot ja tarkastele, miten tokenien määrä pyyntöä kohden muuttuu ajan mittaan.
Mitä tietoja tuelle kannattaa tarvittaessa antaa
Jos otat yhteyttä tukeen, liitä mukaan seuraavat tiedot:
Niiden organisaatioiden tunnukset, joita ongelma koskee (tärkeää)
Päätepisteet, joita ongelma koskee, kuten Chat Completions tai Responses (tärkeää)
Mallit, joita ongelma koskee (tärkeää)
Onko käytössä Nopea tila vai Skaalataso (tärkeää)
Aikavälit aikavyöhykkeineen, jolloin viiveitä tai virheitä esiintyy (tärkeää)
Ongelmaan liittyvä x-request-id tai X-Client-Request-Id, jos saatavilla
Antamiesi pyyntöjen aikaleimat aikavyöhykkeineen tai ainakin päivämäärä
Liitä mukaan myös seuraavat tiedot, jos ne ovat saatavilla:
Pyyntöihin liittyvä projektitunnus
Koskeeko ongelma pyyntöjä, joihin sovelletaan tietojen sijaintipaikkaa koskevia vaatimuksia, ja jos koskee, mitä pyyntöjä
Kuvaukset havaitsemistasi kehityssuunnista
Liitä mukaan ongelman tyypin mukaan seuraavat tiedot:
Virheet: Epäonnistuvien tai virheen palauttavien pyyntöjen arvioitu prosenttiosuus, vastauskoodit, virheilmoitukset ja virhevastauksen saamiseen kulunut aika.
Viive: Mihin persentiileihin ongelma vaikuttaa (P50 / P90 / P95 / P99), kuinka suuria niiden arvot ovat asiakkaan perustasoon verrattuna sekä esimerkkejä hitaista pyynnöistä lähetys- ja vastaanottoaikaleimoineen.
Molemmat: Kuvakaappauksia tai taulukko virhe- tai viivetiedoista sekä kuvaus siitä, miten totesit virheiden osuuden tai viiveen olevan odotettua suurempi.
Yleiset vianmääritystilanteet
Aikakatkaisuja tapahtuu, mutta Palvelun kunto näyttää normaalilta
Mahdollinen syy: pyynnöt aikakatkaistaan ennen kuin ne saavuttavat OpenAI:n.
Tarkista:
Asiakkaan tai välityspalvelimen aikakatkaisuasetukset
Paikallisen verkon tai kuormantasaajan muutokset
499-virheiden esiintyminen Palvelun kunnon koontinäytössä (ne voivat näkyä omissa järjestelmissäsi 5xx-virheinä).
Viive kasvoi ilman käyttöönottoa
Mahdollinen syy: tulostokenien määrä tai päättelyn käyttö kasvoi ja/tai liikenne siirtyi palvelutasojen välillä.
Tarkista:
Keskimääräiset tulostokenit pyyntöä kohti Käytön koontinäytössä (edellyttää tietojen lataamista ja tulostokenien jakamista pyyntöjen kokonaismäärällä).
Request Time- ja TTFT-persentiilit Palvelun kunnon koontinäytössä.
Nopea tila tai Skaalataso vaikuttaa hitaalta
Mahdollinen syy: eri tasojen mittarit ovat sekoittuneet, jolloin vakiotason liikenne peittää maksullisen tason suorituskyvyn.
Tarkista:
Suodattimet on rajattu yhteen tasoon ja malliin.
Tokenien käsittelynopeuden vertailu tasojen välillä.
5XX-virheiden piikki
Todennäköinen syy: tilapäiset häiriöt, jotka vaikuttavat pieneen osaan liikenteestä.
Tarkista:
Virheprosentti
Muuttuiko liikenteen määrä samaan aikaan
Ongelma vaikuttaa vain yhteen projektiin
Todennäköinen syy: projektikohtainen määritys tai käyttötapa.
Tarkista:
Projektitason suodatus
Vertailu projekteihin, joihin ongelma ei vaikuta
Lopulliset huomiot
Suodata tarvittaessa mallin, tason ja projektin mukaan ennen mittarien tulkintaa.
Käytä viiveanalyysissä persentiilejä, älä keskiarvoja.
Pieniä virheprosentteja on odotettavissa.
Puuttuvat tiedot viittaavat yleensä ylävirran ongelmiin.
Käyttötiedot voivat auttaa selittämään, miksi viive muuttui; Palvelun kunto näyttää, milloin toiminta muuttui.