Pranala Penting
Dasbor Kesehatan Layanan (saiki mung kasedhiya kanggo pelanggan API Enterprise)
Miwiti nganggo Default sing Bener
Nalika sampeyan mbukak dasbor Kesehatan Layanan, defaulté yaiku:
Kabeh proyek
30 dina pungkasan
Resolusi saben jam
Tampilan iki mung migunani kanggo orientasi. Ngatasi masalah kanthi bermakna mesthi mbutuhake panyaringan.
Saring Sadurunge Neliti
Panyaringan sing bener iku langkah paling penting. Umume salah tafsir asalé saka nyampur model, tingkat, utawa proyek.
Saring miturut Model (Siji-siji)
Tansah saring menyang siji model.
Sebabe:
Masalah ing model kanthi trafik sithik bisa ketutupan trafik volume luwih dhuwur
Model volume dhuwur bisa nggawe masalah lokal katon global
Model sing beda nduweni target kinerja sing beda
Cathetan: milih pirang-pirang model bakal nggabungake model-model kasebut—ora ngalih ing antarane model kasebut.
Filter Miturut Tingkat Layanan
Yen sampeyan nggunakake luwih saka siji tingkat (standar, mode Cepet (biyen pangolahan Prioritas), Tingkat Skala), mesthekna tansah nyaring tingkat sing lagi ditliti.
Alesane:
Saben tingkat nduweni karakteristik kinerja sing beda
Mode Cepet lan Tingkat Skala nduweni SLA sing wis ditemtokake
Nyampur tingkat bakal nutupi kinerja tingkat mbayar
Iki penting banget kanggo analisis latensi.
Kanggo model sing wis ana, traffic mode Cepet isih katon minangka priority ing dasbor Panggunaan.
Saring miturut Proyek
Kanthi default, Kesehatan Layanan nuduhake kabeh proyek.
Kanggo ngatasi masalah, saring menyang proyek sing masalahé diamati.
Sebabe:
Siji proyek volume dhuwur bisa ndominasi metrik.
Proyek luwih cilik sing kena dampak bisa ketutupan trafik sing ora gegandhengan.
Mung tinggalake "Kabeh proyek" kepilih yen sampeyan yakin masalahé pancen ing saindenging organisasi.
Ngatasi Masalah Kesalahan
Gunakake Tampilan Panyuwunan HTTP
Kanggo neliti kesalahan:
Saring miturut model lan tingkat layanan.
Bukak tab Panyuwunan HTTP tinimbang tab Wektu Aktif.
Tampilan iki nuduhake total panyuwunan lan jumlah kesalahan miturut kode status HTTP. Zoom menyang resolusi tingkat menit kanggo ngenali lonjakan utawa owah-owahan sing rinci.
Tafsirake Tingkat Kesalahan, Dudu Jumlah
Sawetara kesalahan iku samesthine ing sistem produksi apa wae. Fokus marang persentase kesalahan, dudu total mentah.
Saya gedhe total volume sampeyan, saya gedhe jumlah kesalahan sing mungkin sanajan tingkat kesalahané sithik banget.
Nalika Kesalahan Ora Ana ing Kesehatan Layanan
Yen sampeyan ndeleng kesalahan sisih klien nanging ora ana data sing cocog ing Kesehatan Layanan:
Panyuwunan kemungkinan ora tekan OpenAI.
Masalahé biasane ana ing upstream (timeout, proxy, jaringan).
Iki umum kedadeyan karo timeout sisih klien sing agresif.
Ngatasi Masalah Latensi
Analisis latensi paling migunani ing tingkat mode Cepet lan Tingkat Skala, amarga nduweni SLA sing wis ditemtokake. Tingkat standar bisa nuduhake variasi latensi sing luwih amba lan ora njamin latensi.
Metrik Kunci
Kanggo ndeleng saben metrik, klik tab sing relevan:
Kecepatan Token: Token sing digawe saben detik; ora gumantung marang ukuran prompt.
Wektu Panyuwunan: Total durasi panyuwunan; banget kena pengaruh ukuran output lan nalar.
Wektu nganti Token Kapisan (TTFT): Wektu nganti token kapisan digawe; banget kena pengaruh ukuran prompt input sing ora dicache lan nalar.
Tansah priksa persentil P50 / P75 / P95. Rata-rata bisa ndhelikake dampak pangguna nyata.
6. Ngubungake Latensi karo Panggunaan Token
Kesehatan Layanan nuduhake kapan perilaku owah. Data panggunaan mbantu nerangake kenapa.
Ing dasbor Panggunaan, tindakake iki kanggo mesthekake sampeyan ndeleng data sing relevan karo tampilan sampeyan ing Dasbor Kesehatan Layanan:
Saring menyang proyek lan model sing padha.
Kelompokake miturut tingkat layanan, yen ditrapake.
Fokus marang token output, sing paling kuwat mengaruhi latensi.
Kanggo analisis luwih jero, ekspor Data Aktivitas lan priksa token saben panyuwunan saka wektu ke wektu.
7. Informasi sing Perlu Diwenehake menyang Dhukungan (Yen Perlu)
Yen sampeyan ngubungi dhukungan, lebokna:
ID Organisasi sing kena pengaruh (penting)
Endpoint sing kena pengaruh, kayata Chat Completions utawa Responses (penting)
Model sing kena pengaruh (penting)
Apa masalah iki ana ing mode Cepet utawa Tingkat Skala (penting)
Rentang wektu lan zona wektu kanggo latensi utawa error (penting)
x-request-id utawa X-Client-Request-Id sing gegandhengan, yen ana
Timestamp lan zona wektu, utawa saora-orane tanggale, kanggo panjaluk sing diwenehake
Yen ana, lebokna uga:
ID Proyek sing gegandhengan karo panjaluk kasebut
Apa panjaluk domisili data kena pengaruh, lan panjaluk endi wae
Katrangan babagan tren sing sampeyan deleng
Kanggo jinis masalahe, lebokna:
Error: Kira-kira persentase panjaluk sing gagal utawa ngalami error, kode respons, pesen error, lan suwene wektu nganti respons error ditampa.
Latensi: Persentil sing kena pengaruh (P50 / P90 / P95 / P99), sepira dhuwure yen dibandhingake karo patokan pelanggan, lan conto panjaluk alon kanthi timestamp pangiriman lan panriman.
Loro-lorone: Gambar layar utawa tabel data error utawa latensi, ditambah katrangan carane sampeyan nemtokake yen tingkat error utawa latensi luwih dhuwur tinimbang sing dikarepake.
Skenario Ngatasi Masalah sing Umum
Timeout Kedadeyan nanging Kesehatan Layanan Katon Normal
Panyebab sing mungkin: panyuwunan ngalami timeout sadurunge tekan OpenAI.
Priksa:
Setelan timeout klien utawa proxy
Owah-owahan jaringan lokal utawa load balancer
Anané kesalahan 499 ing dasbor Kesehatan Layanan (iki bisa katon minangka kesalahan 5xx ing sistem sampeyan dhewe).
Latensi Mundhak Tanpa Deployment
Panyebab sing mungkin: ukuran token output utawa panggunaan nalar mundhak lan/utawa trafik pindhah antarane tingkat layanan.
Priksa:
Rata-rata token output saben panyuwunan ing dasbor Panggunaan (mbutuhake ngundhuh data lan mbagi token output karo total panyuwunan).
Persentil Wektu Panyuwunan lan TTFT ing dasbor Kesehatan Layanan.
Mode Cepet utawa Tingkat Skala Katon Alon
Panyebab sing mungkin: metrik saka macem-macem tingkat kacampur, mula traffic tingkat standar nutupi kinerja tingkat mbayar.
Priksa:
Filter diwatesi mung kanggo siji tingkat lan model.
Perbandhingan kacepetan token antarane tingkat.
Mundhaké Kesalahan 5XX
Panyebab sing mungkin: kegagalan sementara sing mengaruhi persentase cilik trafik.
Priksa:
Persentase tingkat kesalahan
Apa volume trafik owah ing wektu sing padha
Masalah Mung Mengaruhi Siji Proyek
Panyebab sing mungkin: konfigurasi utawa pola panggunaan khusus proyek.
Priksa:
Panyaringan tingkat proyek
Perbandingan karo proyek sing ora kena dampak
Poin Pungkasan
Saring miturut model, tingkat, lan proyek yen relevan sadurunge nerjemahake metrik.
Gunakake persentil, dudu rata-rata, kanggo analisis latensi.
Tingkat kesalahan cilik iku samesthine.
Data sing ilang biasane nuduhake masalah upstream.
Data panggunaan bisa mbantu nerangake kenapa latensi owah; Kesehatan Layanan nuduhake kapan perilaku owah.