Pautan Penting
Papan Pemuka Kesihatan Perkhidmatan (pada masa ini hanya tersedia kepada pelanggan API Enterprise)
Mulakan dengan Tetapan Lalai yang Betul
Apabila anda membuka papan pemuka Kesihatan Perkhidmatan, tetapan lalainya ialah:
Semua projek
30 hari terakhir
Resolusi setiap jam
Paparan ini hanya berguna untuk orientasi. Penyelesaian masalah yang bermakna sentiasa memerlukan penapisan.
Tapis Sebelum Menyiasat
Penapisan yang betul ialah langkah paling penting. Kebanyakan salah tafsir berlaku kerana model, peringkat atau projek dicampuradukkan.
Tapis mengikut Model (Satu demi Satu)
Sentiasa tapis kepada satu model sahaja.
Sebab:
Isu pada model trafik rendah boleh disembunyikan oleh trafik bervolum lebih tinggi
Model bervolum tinggi boleh membuat isu setempat kelihatan seperti isu global
Model yang berbeza mempunyai sasaran prestasi yang berbeza
Nota: memilih berbilang model akan mengagregatkannya—bukan bertukar antara model tersebut.
Tapis mengikut Peringkat Perkhidmatan
Jika anda menggunakan lebih daripada satu peringkat (standard, priority, scale), sentiasa tapis kepada peringkat yang sedang anda siasat.
Sebab:
Peringkat mempunyai ciri prestasi yang berbeza
Peringkat Priority dan Scale mempunyai SLA yang ditetapkan
Mencampurkan peringkat mengaburkan prestasi peringkat berbayar
Ini sangat penting untuk analisis kelewatan.
Tapis mengikut Projek
Secara lalai, Kesihatan Perkhidmatan menunjukkan semua projek.
Untuk penyelesaian masalah, tapis kepada projek yang mengalami isu tersebut.
Sebab:
Satu projek bervolum tinggi boleh mendominasi metrik.
Projek terjejas yang lebih kecil boleh ditutupi oleh trafik yang tidak berkaitan.
Biarkan “Semua projek” dipilih hanya jika anda percaya isu itu benar-benar melibatkan seluruh organisasi.
Menyelesaikan Ralat
Gunakan Paparan Permintaan HTTP
Untuk menyiasat ralat:
Tapis mengikut model dan peringkat perkhidmatan.
Buka tab Permintaan HTTP dan bukannya tab Masa Aktif.
Paparan ini menunjukkan jumlah permintaan dan bilangan ralat mengikut kod status HTTP. Zum kepada resolusi per minit untuk mengenal pasti lonjakan atau perubahan yang terperinci.
Tafsir Kadar Ralat, Bukan Bilangan
Sesetengah ralat adalah dijangka dalam mana-mana sistem produksi. Tumpukan pada peratusan ralat, bukan jumlah mentah.
Semakin besar jumlah volum anda, semakin besar kemungkinan bilangan ralat walaupun kadar ralat amat rendah.
Apabila Ralat Tiada dalam Kesihatan Perkhidmatan
Jika anda melihat ralat di sisi klien tetapi tiada data sepadan dalam Kesihatan Perkhidmatan:
Permintaan berkemungkinan tidak sampai ke OpenAI.
Isu biasanya berlaku di huluan (tamat masa, proksi, rangkaian).
Ini biasa berlaku dengan tamat masa sisi klien yang terlalu agresif.
Menyelesaikan Isu Kelewatan
Analisis kelewatan paling bermakna pada peringkat priority dan scale, yang mempunyai SLA yang ditetapkan. Peringkat standard boleh menunjukkan variasi kelewatan yang lebih besar dan tidak mempunyai jaminan kelewatan.
Metrik Utama
Untuk melihat setiap metrik, klik tab yang berkaitan:
Halaju Token: Token yang dijana sesaat; tidak bergantung pada saiz gesaan.
Masa Permintaan: Jumlah tempoh permintaan; sangat dipengaruhi oleh saiz output dan penaakulan.
Masa ke Token Pertama (TTFT): Masa sehingga token pertama dijana; sangat dipengaruhi oleh saiz gesaan input yang tidak dicache dan penaakulan.
Sentiasa semak persentil P50 / P75 / P95. Purata boleh menyembunyikan kesan terhadap pengguna sebenar.
6. Mengaitkan Kelewatan dengan Penggunaan Token
Kesihatan Perkhidmatan menunjukkan bila tingkah laku berubah. Data Penggunaan membantu menjelaskan sebabnya.
Dalam papan pemuka Penggunaan, lakukan perkara berikut untuk memastikan anda melihat data yang berkaitan dengan paparan anda dalam Papan Pemuka Kesihatan Perkhidmatan:
Tapis kepada projek dan model yang sama.
Kumpulkan mengikut peringkat perkhidmatan, jika berkenaan.
Tumpukan pada token output, yang paling kuat mempengaruhi kelewatan.
Untuk analisis lebih mendalam, eksport Data Aktiviti dan periksa token bagi setiap permintaan mengikut masa.
7. Perkara yang Perlu Dikongsi dengan Sokongan (Jika Perlu)
Jika anda menghubungi sokongan, sertakan:
ID Organisasi yang terjejas (penting)
Titik akhir yang terjejas, seperti Chat Completions atau Responses (penting)
Model yang terjejas (penting)
Sama ada ini berlaku pada peringkat Scale atau Priority (penting)
Julat masa dengan zon waktu untuk kelewatan atau ralat (penting)
x-request-id atau X-Client-Request-Id yang berkaitan, jika tersedia
Cap masa dengan zon waktu, atau sekurang-kurangnya tarikh, untuk permintaan yang anda berikan
Jika tersedia, sertakan juga:
ID projek yang berkaitan dengan permintaan
Sama ada permintaan residensi data terjejas, dan permintaan yang mana
Perihalan trend yang anda lihat
Untuk jenis isu, sertakan:
Ralat: Anggaran peratusan permintaan yang gagal atau mengalami ralat, kod respons, mesej ralat dan tempoh masa yang diambil untuk menerima respons ralat.
Kelewatan: Persentil yang terjejas (P50 / P90 / P95 / P99), setinggi mana nilainya berbanding garis dasar pelanggan, dan contoh permintaan perlahan dengan cap masa hantar dan terima.
Kedua-duanya: Tangkapan skrin atau jadual data ralat atau kelewatan, serta cara anda menentukan bahawa kadar ralat atau kelewatan lebih tinggi daripada jangkaan.
Senario Penyelesaian Masalah Biasa
Tamat Masa Berlaku tetapi Kesihatan Perkhidmatan Kelihatan Normal
Kemungkinan punca: permintaan tamat masa sebelum sampai ke OpenAI.
Semak:
Tetapan tamat masa klien atau proksi
Perubahan rangkaian setempat atau pengimbang beban
Kehadiran ralat 499 dalam papan pemuka Kesihatan Perkhidmatan (ini mungkin muncul sebagai ralat 5xx dalam sistem anda sendiri).
Kelewatan Meningkat Tanpa Pelaksanaan Baharu
Kemungkinan punca: saiz token output atau penggunaan penaakulan meningkat dan/atau trafik beralih antara peringkat perkhidmatan.
Semak:
Purata token output bagi setiap permintaan dalam papan pemuka Penggunaan (memerlukan anda memuat turun data dan membahagikan token output dengan jumlah permintaan).
Persentil Masa Permintaan dan TTFT dalam papan pemuka Kesihatan Perkhidmatan.
Peringkat Priority atau Scale Kelihatan Perlahan
Kemungkinan punca: metrik bercampur antara peringkat, bermakna trafik peringkat standard menutupi prestasi peringkat berbayar.
Semak:
Penapis dihadkan kepada satu peringkat dan satu model.
Perbandingan halaju token antara peringkat.
Lonjakan Ralat 5XX
Kemungkinan punca: kegagalan sementara yang menjejaskan peratusan kecil trafik.
Semak:
Peratusan kadar ralat
Sama ada volum trafik berubah pada masa yang sama
Isu Hanya Menjejaskan Satu Projek
Kemungkinan punca: konfigurasi atau corak penggunaan khusus projek.
Semak:
Penapisan peringkat projek
Perbandingan dengan projek yang tidak terjejas
Kesimpulan Utama
Tapis mengikut model, peringkat dan projek yang berkaitan sebelum mentafsir metrik.
Gunakan persentil, bukan purata, untuk analisis kelewatan.
Kadar ralat yang kecil adalah dijangka.
Data yang tiada biasanya menunjukkan isu huluan.
Data Penggunaan boleh membantu menjelaskan sebab kelewatan berubah; Kesihatan Perkhidmatan menunjukkan bila tingkah laku berubah.