Pranala Penting
Dasbor Kesehatan Layanan (saiki mung kasedhiya kanggo pelanggan API Enterprise)
Miwiti nganggo Default sing Bener
Nalika sampeyan mbukak dasbor Kesehatan Layanan, defaulté yaiku:
Kabeh proyek
30 dina pungkasan
Resolusi saben jam
Tampilan iki mung migunani kanggo orientasi. Ngatasi masalah kanthi bermakna mesthi mbutuhake panyaringan.
Saring Sadurunge Neliti
Panyaringan sing bener iku langkah paling penting. Umume salah tafsir asalé saka nyampur model, tingkat, utawa proyek.
Saring miturut Model (Siji-siji)
Tansah saring menyang siji model.
Sebabe:
Masalah ing model kanthi trafik sithik bisa ketutupan trafik volume luwih dhuwur
Model volume dhuwur bisa nggawe masalah lokal katon global
Model sing beda nduweni target kinerja sing beda
Cathetan: milih pirang-pirang model bakal nggabungake model-model kasebut—ora ngalih ing antarane model kasebut.
Filter Miturut Tingkat Layanan
Yen sampeyan nggunakake luwih saka siji tingkat (standar, mode Cepet (biyen pangolahan Prioritas), Tingkat Skala), mesthekna tansah nyaring tingkat sing lagi ditliti.
Alesane:
Saben tingkat nduweni karakteristik kinerja sing beda
Mode Cepet lan Tingkat Skala nduweni SLA sing wis ditemtokake
Nyampur tingkat bakal nutupi kinerja tingkat mbayar
Iki penting banget kanggo analisis latensi.
Kanggo model sing wis ana, traffic mode Cepet isih katon minangka priority ing dasbor Panggunaan.
Saring miturut Proyek
Kanthi default, Kesehatan Layanan nuduhake kabeh proyek.
Kanggo ngatasi masalah, saring menyang proyek sing masalahé diamati.
Sebabe:
Siji proyek volume dhuwur bisa ndominasi metrik.
Proyek luwih cilik sing kena dampak bisa ketutupan trafik sing ora gegandhengan.
Mung tinggalake "Kabeh proyek" kepilih yen sampeyan yakin masalahé pancen ing saindenging organisasi.
Ngatasi Masalah Kesalahan
Gunakake Tampilan Panyuwunan HTTP
Kanggo neliti kesalahan:
Saring miturut model lan tingkat layanan.
Bukak tab Panyuwunan HTTP tinimbang tab Wektu Aktif.
Tampilan iki nuduhake total panyuwunan lan jumlah kesalahan miturut kode status HTTP. Zoom menyang resolusi tingkat menit kanggo ngenali lonjakan utawa owah-owahan sing rinci.
Tafsirake Tingkat Kesalahan, Dudu Jumlah
Sawetara kesalahan iku samesthine ing sistem produksi apa wae. Fokus marang persentase kesalahan, dudu total mentah.
Saya gedhe total volume sampeyan, saya gedhe jumlah kesalahan sing mungkin sanajan tingkat kesalahané sithik banget.
Nalika Kesalahan Ora Ana ing Kesehatan Layanan
Yen sampeyan ndeleng kesalahan sisih klien nanging ora ana data sing cocog ing Kesehatan Layanan:
Panyuwunan kemungkinan ora tekan OpenAI.
Masalahé biasane ana ing upstream (timeout, proxy, jaringan).
Iki umum kedadeyan karo timeout sisih klien sing agresif.
Ngatasi Masalah Latensi
Analisis latensi paling migunani ing tingkat mode Cepet lan Tingkat Skala, amarga nduweni SLA sing wis ditemtokake. Tingkat standar bisa nuduhake variasi latensi sing luwih amba lan ora njamin latensi.
Metrik Kunci
Kanggo ndeleng saben metrik, klik tab sing relevan:
Kecepatan Token: Token sing digawe saben detik; ora gumantung marang ukuran prompt.
Wektu Panyuwunan: Total durasi panyuwunan; banget kena pengaruh ukuran output lan nalar.
Wektu nganti Token Kapisan (TTFT): Wektu nganti token kapisan digawe; banget kena pengaruh ukuran prompt input sing ora dicache lan nalar.
Tansah priksa persentil P50 / P75 / P95. Rata-rata bisa ndhelikake dampak pangguna nyata.
Nggayutake Latensi karo Panggunaan Token
Kahanan Layanan nuduhake kapan prilaku layanan owah. Data panggunaan mbantu njlentrehake apa sebabe.
Ing dasbor Panggunaan, tindakake langkah iki supaya data sing kokdeleng cocog karo tampilanmu ing Dasbor Kahanan Layanan:
Gunakake Filter kanggo milih proyek lan model sing padha.
Klompokake miturut tingkat layanan, yen cocog.
Fokus ing token output, sing paling gedhe pengaruhe marang latensi.
Kanggo analisis sing luwih jero, ekspor Data Aktivitas lan priksa cacah token saben panjaluk saka wektu menyang wektu.
Informasi sing Perlu Diwenehake marang Tim Dhukungan (Yen Perlu)
Yen ngubungi tim dhukungan, lebokna:
ID organisasi sing kena pengaruh (penting)
Endpoint sing kena pengaruh, kayata Chat Completions utawa Responses (penting)
Model sing kena pengaruh (penting)
Apa kedadeyane ing mode Cepet utawa Tingkat Skala (penting)
Rentang wektu kedadeyan latensi utawa galat, kalebu zona wektune (penting)
x-request-id utawa X-Client-Request-Id sing gegandhengan, yen ana
Cathetan wektu lan zona wektune, utawa paling ora tanggale, kanggo panjaluk sing kokwenehake
Yen ana, lebokna uga:
ID proyek sing gegandhengan karo panjaluk kasebut
Apa panjaluk sing nggunakake domisili data kena pengaruh, lan endi wae sing kena
Katrangan babagan tren sing kokdeleng
Miturut jinis masalahe, lebokna:
Galat: Kira-kira persentase panjaluk sing gagal utawa ngalami galat, kode respons, pesen galat, lan suwene wektu nganti respons galat ditampa.
Latensi: Persentil endi sing kena pengaruh (P50 / P90 / P95 / P99), sepira dhuwure dibandhingake karo nilai lumrahe pelanggan, lan conto panjaluk sing alon kanthi cathetan wektu pangiriman lan panampa.
Loro-lorone: Gambar layar utawa tabel data galat utawa latensi, uga caramu nemtokake yen tingkat galat utawa latensi luwih dhuwur tinimbang sing dikarepake.
Skenario Ngatasi Masalah sing Umum
Timeout Kedadeyan nanging Kesehatan Layanan Katon Normal
Panyebab sing mungkin: panyuwunan ngalami timeout sadurunge tekan OpenAI.
Priksa:
Setelan timeout klien utawa proxy
Owah-owahan jaringan lokal utawa load balancer
Anané kesalahan 499 ing dasbor Kesehatan Layanan (iki bisa katon minangka kesalahan 5xx ing sistem sampeyan dhewe).
Latensi Mundhak Tanpa Deployment
Panyebab sing mungkin: ukuran token output utawa panggunaan nalar mundhak lan/utawa trafik pindhah antarane tingkat layanan.
Priksa:
Rata-rata token output saben panyuwunan ing dasbor Panggunaan (mbutuhake ngundhuh data lan mbagi token output karo total panyuwunan).
Persentil Wektu Panyuwunan lan TTFT ing dasbor Kesehatan Layanan.
Mode Cepet utawa Tingkat Skala Katon Alon
Panyebab sing mungkin: metrik saka macem-macem tingkat kacampur, mula traffic tingkat standar nutupi kinerja tingkat mbayar.
Priksa:
Filter diwatesi mung kanggo siji tingkat lan model.
Perbandhingan kacepetan token antarane tingkat.
Mundhaké Kesalahan 5XX
Panyebab sing mungkin: kegagalan sementara sing mengaruhi persentase cilik trafik.
Priksa:
Persentase tingkat kesalahan
Apa volume trafik owah ing wektu sing padha
Masalah Mung Mengaruhi Siji Proyek
Panyebab sing mungkin: konfigurasi utawa pola panggunaan khusus proyek.
Priksa:
Panyaringan tingkat proyek
Perbandingan karo proyek sing ora kena dampak
Poin Pungkasan
Saring miturut model, tingkat, lan proyek yen relevan sadurunge nerjemahake metrik.
Gunakake persentil, dudu rata-rata, kanggo analisis latensi.
Tingkat kesalahan cilik iku samesthine.
Data sing ilang biasane nuduhake masalah upstream.
Data panggunaan bisa mbantu nerangake kenapa latensi owah; Kesehatan Layanan nuduhake kapan perilaku owah.