Pranala Penting
Dasbor Kesehatan Layanan (saiki mung kasedhiya kanggo pelanggan API Enterprise)
Miwiti nganggo Default sing Bener
Nalika sampeyan mbukak dasbor Kesehatan Layanan, defaulté yaiku:
Kabeh proyek
30 dina pungkasan
Resolusi saben jam
Tampilan iki mung migunani kanggo orientasi. Ngatasi masalah kanthi bermakna mesthi mbutuhake panyaringan.
Saring Sadurunge Neliti
Panyaringan sing bener iku langkah paling penting. Umume salah tafsir asalé saka nyampur model, tingkat, utawa proyek.
Saring miturut Model (Siji-siji)
Tansah saring menyang siji model.
Sebabe:
Masalah ing model kanthi trafik sithik bisa ketutupan trafik volume luwih dhuwur
Model volume dhuwur bisa nggawe masalah lokal katon global
Model sing beda nduweni target kinerja sing beda
Cathetan: milih pirang-pirang model bakal nggabungake model-model kasebut—ora ngalih ing antarane model kasebut.
Saring miturut Tingkat Layanan
Yen sampeyan nggunakake luwih saka siji tingkat (standar, prioritas, skala), tansah saring menyang tingkat sing lagi sampeyan selidiki.
Sebabe:
Tingkat nduweni karakteristik kinerja sing beda
Tingkat prioritas lan skala nduweni SLA sing ditemtokake
Nyampur tingkat bakal nyamarke kinerja tingkat mbayar
Iki utamane penting kanggo analisis latensi.
Saring miturut Proyek
Kanthi default, Kesehatan Layanan nuduhake kabeh proyek.
Kanggo ngatasi masalah, saring menyang proyek sing masalahé diamati.
Sebabe:
Siji proyek volume dhuwur bisa ndominasi metrik.
Proyek luwih cilik sing kena dampak bisa ketutupan trafik sing ora gegandhengan.
Mung tinggalake "Kabeh proyek" kepilih yen sampeyan yakin masalahé pancen ing saindenging organisasi.
Ngatasi Masalah Kesalahan
Gunakake Tampilan Panyuwunan HTTP
Kanggo neliti kesalahan:
Saring miturut model lan tingkat layanan.
Bukak tab Panyuwunan HTTP tinimbang tab Wektu Aktif.
Tampilan iki nuduhake total panyuwunan lan jumlah kesalahan miturut kode status HTTP. Zoom menyang resolusi tingkat menit kanggo ngenali lonjakan utawa owah-owahan sing rinci.
Tafsirake Tingkat Kesalahan, Dudu Jumlah
Sawetara kesalahan iku samesthine ing sistem produksi apa wae. Fokus marang persentase kesalahan, dudu total mentah.
Saya gedhe total volume sampeyan, saya gedhe jumlah kesalahan sing mungkin sanajan tingkat kesalahané sithik banget.
Nalika Kesalahan Ora Ana ing Kesehatan Layanan
Yen sampeyan ndeleng kesalahan sisih klien nanging ora ana data sing cocog ing Kesehatan Layanan:
Panyuwunan kemungkinan ora tekan OpenAI.
Masalahé biasane ana ing upstream (timeout, proxy, jaringan).
Iki umum kedadeyan karo timeout sisih klien sing agresif.
Ngatasi Masalah Latensi
Analisis latensi paling migunani ing tingkat prioritas lan skala, sing nduweni SLA sing ditemtokake. Tingkat standar bisa nuduhake variasi latensi sing luwih amba, lan ora nduweni jaminan latensi.
Metrik Kunci
Kanggo ndeleng saben metrik, klik tab sing relevan:
Kecepatan Token: Token sing digawe saben detik; ora gumantung marang ukuran prompt.
Wektu Panyuwunan: Total durasi panyuwunan; banget kena pengaruh ukuran output lan nalar.
Wektu nganti Token Kapisan (TTFT): Wektu nganti token kapisan digawe; banget kena pengaruh ukuran prompt input sing ora dicache lan nalar.
Tansah priksa persentil P50 / P75 / P95. Rata-rata bisa ndhelikake dampak pangguna nyata.
6. Ngubungake Latensi karo Panggunaan Token
Kesehatan Layanan nuduhake kapan perilaku owah. Data panggunaan mbantu nerangake kenapa.
Ing dasbor Panggunaan, tindakake iki kanggo mesthekake sampeyan ndeleng data sing relevan karo tampilan sampeyan ing Dasbor Kesehatan Layanan:
Saring menyang proyek lan model sing padha.
Kelompokake miturut tingkat layanan, yen ditrapake.
Fokus marang token output, sing paling kuwat mengaruhi latensi.
Kanggo analisis luwih jero, ekspor Data Aktivitas lan priksa token saben panyuwunan saka wektu ke wektu.
7. Sing Perlu Dibagikake karo Dhukungan (Yen Perlu)
Yen sampeyan ngubungi dhukungan, lebokake:
ID Org sing kena dampak (penting)
Titik pungkasan sing kena dampak, kayata Chat Completions utawa Responses (penting)
Model sing kena dampak (penting)
Apa iki ana ing tingkat Skala utawa Prioritas (penting)
Rentang wektu nganggo zona wektu kanggo latensi utawa kesalahan (penting)
x-request-id utawa X-Client-Request-Id sing relevan, yen kasedhiya
Timestamp nganggo zona wektu, utawa paling ora tanggal, kanggo panyuwunan sing sampeyan wenehake
Yen kasedhiya, lebokake uga:
ID Proyek sing gegandhengan karo panyuwunan
Apa panyuwunan domisili data kena dampak, lan sing endi
Katrangan tren sing sampeyan deleng
Kanggo jinis masalah, lebokake:
Kesalahan: Persentase kira-kira panyuwunan sing gagal utawa kesalahan, kode respons, pesen kesalahan, lan suwéné wektu nganti nampa respons kesalahan.
Latensi: Persentil endi sing kena dampak (P50 / P90 / P95 / P99), sepira dhuwuré dibandhingake baseline pelanggan, lan conto panyuwunan alon kanthi timestamp kirim lan tampa.
Loro-loroné: Screenshot utawa tabel data kesalahan utawa latensi, plus carane sampeyan nemtokake tingkat kesalahan utawa latensi luwih dhuwur tinimbang sing diarepake.
Skenario Ngatasi Masalah sing Umum
Timeout Kedadeyan nanging Kesehatan Layanan Katon Normal
Panyebab sing mungkin: panyuwunan ngalami timeout sadurunge tekan OpenAI.
Priksa:
Setelan timeout klien utawa proxy
Owah-owahan jaringan lokal utawa load balancer
Anané kesalahan 499 ing dasbor Kesehatan Layanan (iki bisa katon minangka kesalahan 5xx ing sistem sampeyan dhewe).
Latensi Mundhak Tanpa Deployment
Panyebab sing mungkin: ukuran token output utawa panggunaan nalar mundhak lan/utawa trafik pindhah antarane tingkat layanan.
Priksa:
Rata-rata token output saben panyuwunan ing dasbor Panggunaan (mbutuhake ngundhuh data lan mbagi token output karo total panyuwunan).
Persentil Wektu Panyuwunan lan TTFT ing dasbor Kesehatan Layanan.
Tingkat Prioritas utawa Tingkat Skala Katon Alon
Panyebab sing mungkin: metrik kecampur antarane tingkat, tegese trafik tingkat standar nutupi kinerja tingkat mbayar.
Priksa:
Filter diwatesi mung menyang siji tingkat lan model.
Perbandingan kecepatan token antarane tingkat.
Mundhaké Kesalahan 5XX
Panyebab sing mungkin: kegagalan sementara sing mengaruhi persentase cilik trafik.
Priksa:
Persentase tingkat kesalahan
Apa volume trafik owah ing wektu sing padha
Masalah Mung Mengaruhi Siji Proyek
Panyebab sing mungkin: konfigurasi utawa pola panggunaan khusus proyek.
Priksa:
Panyaringan tingkat proyek
Perbandingan karo proyek sing ora kena dampak
Poin Pungkasan
Saring miturut model, tingkat, lan proyek yen relevan sadurunge nerjemahake metrik.
Gunakake persentil, dudu rata-rata, kanggo analisis latensi.
Tingkat kesalahan cilik iku samesthine.
Data sing ilang biasane nuduhake masalah upstream.
Data panggunaan bisa mbantu nerangake kenapa latensi owah; Kesehatan Layanan nuduhake kapan perilaku owah.