Önemli Bağlantılar
Hizmet Durumu Panosu (şu anda yalnızca Kurumsal API müşterileri tarafından kullanılabilir)
Doğru Varsayılanlarla Başlayın
Hizmet Durumu panosunu açtığınızda varsayılan olarak şunlar gösterilir:
Tüm projeler
Son 30 gün
Saatlik çözünürlük
Bu görünüm yalnızca yön bulmak için yararlıdır. Anlamlı sorun giderme her zaman filtreleme gerektirir.
İncelemeden Önce Filtreleyin
Doğru filtreleme en önemli adımdır. Yanlış yorumlamaların çoğu modellerin, kademelerin veya projelerin karıştırılmasından kaynaklanır.
Modele Göre Filtreleyin (Tek Tek)
Her zaman tek bir modele göre filtreleyin.
Neden:
Düşük trafikli modellerdeki sorunlar, daha yüksek hacimli trafik tarafından gizlenebilir
Yüksek hacimli modeller yerel sorunları genelmiş gibi gösterebilir
Farklı modellerin farklı performans hedefleri vardır
Not: Birden fazla model seçmek onları toplar; aralarında geçiş yapmaz.
Hizmet Kademesine Göre Filtreleyin
Birden fazla kademe (standart, öncelik, ölçek) kullanıyorsanız her zaman araştırdığınız kademeye göre filtreleyin.
Neden:
Kademelerin farklı performans özellikleri vardır
Öncelik ve ölçek kademelerinin tanımlı SLA'ları vardır
Kademeleri karıştırmak ücretli kademe performansını belirsizleştirir
Bu, özellikle gecikme analizi için önemlidir.
Projeye Göre Filtreleyin
Varsayılan olarak Hizmet Durumu tüm projeleri gösterir.
Sorun giderme için sorunun gözlemlendiği proje(ler)e göre filtreleyin.
Neden:
Tek bir yüksek hacimli proje metriklere hâkim olabilir.
Etkilenen daha küçük projeler ilgisiz trafik tarafından maskelenebilir.
Sorunun gerçekten kuruluş genelinde olduğuna inanıyorsanız yalnızca "Tüm projeler" seçili kalsın.
Hata Giderme
HTTP İstekleri Görünümünü Kullanın
Hataları incelemek için:
Modele ve hizmet kademesine göre filtreleyin.
Çalışma Süresi sekmesi yerine HTTP İstekleri sekmesini açın.
Bu görünüm, HTTP durum koduna göre toplam istekleri ve hata sayılarını gösterir. Ayrıntılı ani artışları veya değişiklikleri belirlemek için dakika düzeyi çözünürlüğe yakınlaştırın.
Sayıları Değil, Hata Oranlarını Yorumlayın
Her üretim sisteminde bazı hatalar beklenir. Ham toplamlar yerine hata yüzdesine odaklanın.
Toplam hacminiz ne kadar büyükse, son derece düşük bir hata oranında bile olası hata sayısı o kadar büyük olur.
Hatalar Hizmet Durumu'nda Eksik Olduğunda
İstemci tarafında hatalar görüyorsanız ancak Hizmet Durumu'nda karşılık gelen veri yoksa:
İstekler muhtemelen OpenAI'ye ulaşmamıştır.
Sorun genellikle yukarı akıştadır (zaman aşımları, proxy'ler, ağ).
Bu, agresif istemci tarafı zaman aşımlarında yaygındır.
Gecikme Sorunlarını Giderme
Gecikme analizi, tanımlı SLA'ları olan öncelik ve ölçek kademelerinde en anlamlıdır. Standart kademe daha geniş gecikme değişkenliği gösterebilir ve garantili gecikme sunmaz.
Temel Metrikler
Her metriği görüntülemek için ilgili sekmeye tıklayın:
Token Hızı: Saniyede üretilen tokenlar; komut boyutundan bağımsızdır.
İstek Süresi: Toplam istek süresi; çıkış boyutu ve akıl yürütmeden büyük ölçüde etkilenir.
İlk Tokena Kadar Geçen Süre (TTFT): İlk token oluşturulana kadar geçen süre; önbelleğe alınmamış giriş komutu boyutu ve akıl yürütmeden büyük ölçüde etkilenir.
P50 / P75 / P95 persentillerini her zaman inceleyin. Ortalamalar gerçek kullanıcı etkisini gizleyebilir.
6. Gecikmeyi Token Kullanımıyla İlişkilendirme
Hizmet Durumu, davranışın ne zaman değiştiğini gösterir. Kullanım verileri nedenini açıklamaya yardımcı olur.
Kullanım panosunda, Hizmet Durumu Panosu'ndaki görünümünüzle ilgili verilere baktığınızdan emin olmak için şunları yapın:
Aynı proje ve modele göre filtreleyin.
Uygunsa hizmet kademesine göre gruplandırın.
Gecikmeyi en güçlü şekilde etkileyen çıkış tokenlarına odaklanın.
Daha derin analiz için Etkinlik Verilerini dışa aktarın ve zaman içinde istek başına tokenları inceleyin.
7. Destekle Neleri Paylaşmalısınız (Gerekirse)
Destekle iletişime geçerseniz şunları ekleyin:
Etkilenen Org ID'leri (önemli)
Etkilenen uç noktalar; örneğin Chat Completions veya Responses (önemli)
Etkilenen modeller (önemli)
Bunun Ölçek veya Öncelik kademesinde olup olmadığı (önemli)
Gecikme veya hatalar için saat dilimiyle birlikte zaman aralıkları (önemli)
Varsa ilgili x-request-id veya X-Client-Request-Id
Sağladığınız istekler için saat dilimiyle birlikte zaman damgaları veya en azından tarih
Varsa şunları da ekleyin:
İsteklerle ilgili Proje ID'si
Veri saklama ve işleme konumu gereksinimleriyle ilgili isteklerin etkilenip etkilenmediği ve hangileri
Gördüğünüz eğilimlerin açıklamaları
Sorun türü için şunları ekleyin:
Hatalar: Başarısız olan veya hata veren isteklerin yaklaşık yüzdesi, yanıt kodları, hata mesajları ve hata yanıtını almanın ne kadar sürdüğü.
Gecikme: Hangi persentillerin etkilendiği (P50 / P90 / P95 / P99), müşterinin temel çizgisine kıyasla ne kadar yüksek oldukları ve gönderme/alma zaman damgalarıyla yavaş istek örnekleri.
Her ikisi: Hata veya gecikme verilerinin ekran görüntüleri ya da tablosu ve hata oranlarının veya gecikmenin beklenenden yüksek olduğunu nasıl belirlediğiniz.
Yaygın Sorun Giderme Senaryoları
Zaman Aşımları Oluyor ancak Hizmet Durumu Normal Görünüyor
Olası neden: istekler OpenAI'ye ulaşmadan önce zaman aşımına uğruyor.
Kontrol edin:
İstemci veya proxy zaman aşımı ayarları
Yerel ağ veya yük dengeleyici değişiklikleri
Hizmet Durumu panosunda 499 hatalarının bulunması (bunlar kendi sistemlerinizde 5xx hataları olarak görünebilir).
Dağıtım Olmadan Gecikme Arttı
Olası neden: çıkış token boyutu veya akıl yürütme kullanımı arttı ve/veya trafik hizmet kademeleri arasında kaydı.
Kontrol edin:
Kullanım panosunda istek başına ortalama çıkış tokenları (verilerin indirilip çıkış tokenlarının toplam isteklere bölünmesini gerektirir).
Hizmet Durumu panosundaki İstek Süresi ve TTFT persentilleri.
Öncelik veya Ölçek Kademesi Yavaş Görünüyor
Olası neden: metrikler kademeler arasında karışmış; bu da standart kademe trafiğinin ücretli kademe performansını maskelediği anlamına gelir.
Kontrol edin:
Filtreler tek bir kademe ve modelle sınırlandırılmıştır.
Kademeler arasındaki token hızı karşılaştırması.
5XX Hatalarında Ani Artış
Muhtemel neden: trafiğin küçük bir yüzdesini etkileyen geçici hatalar.
Kontrol edin:
Hata oranı yüzdesi
Trafik hacminin aynı anda değişip değişmediği
Sorun Yalnızca Bir Projeyi Etkiliyor
Muhtemel neden: projeye özgü yapılandırma veya kullanım deseni.
Kontrol edin:
Proje düzeyinde filtreleme
Etkilenmeyen projelerle karşılaştırma
Son Çıkarımlar
Metrikleri yorumlamadan önce, ilgili olduğunda modele, kademeye ve projeye göre filtreleyin.
Gecikme analizi için ortalamaları değil persentilleri kullanın.
Küçük hata oranları beklenir.
Eksik veriler genellikle yukarı akış sorunlarına işaret eder.
Kullanım verileri gecikmenin neden değiştiğini açıklamaya yardımcı olabilir; Hizmet Durumu davranışın ne zaman değiştiğini gösterir.