Önemli Bağlantılar
Hizmet Durumu Panosu (şu anda yalnızca Kurumsal API müşterileri tarafından kullanılabilir)
Doğru Varsayılanlarla Başlayın
Hizmet Durumu panosunu açtığınızda varsayılan olarak şunlar gösterilir:
Tüm projeler
Son 30 gün
Saatlik çözünürlük
Bu görünüm yalnızca yön bulmak için yararlıdır. Anlamlı sorun giderme her zaman filtreleme gerektirir.
İncelemeden Önce Filtreleyin
Doğru filtreleme en önemli adımdır. Yanlış yorumlamaların çoğu modellerin, kademelerin veya projelerin karıştırılmasından kaynaklanır.
Modele Göre Filtreleyin (Tek Tek)
Her zaman tek bir modele göre filtreleyin.
Neden:
Düşük trafikli modellerdeki sorunlar, daha yüksek hacimli trafik tarafından gizlenebilir
Yüksek hacimli modeller yerel sorunları genelmiş gibi gösterebilir
Farklı modellerin farklı performans hedefleri vardır
Not: Birden fazla model seçmek onları toplar; aralarında geçiş yapmaz.
Hizmet Kademesine Göre Filtreleme
Birden fazla kademe kullanıyorsanız (standart, Hızlı mod [eski adıyla Öncelikli işleme], Ölçek Kademesi), her zaman araştırdığınız kademeye göre filtreleyin.
Neden?
Kademelerin performans özellikleri farklıdır
Hızlı mod ve Ölçek Kademesi için tanımlı SLA'lar vardır
Kademeleri karıştırmak, ücretli kademenin performansını belirsizleştirir
Bu, özellikle gecikme analizi açısından önemlidir.
Mevcut modellerde Hızlı mod trafiği, Kullanım panosunda hâlâ priority olarak görünür.
Projeye Göre Filtreleyin
Varsayılan olarak Hizmet Durumu tüm projeleri gösterir.
Sorun giderme için sorunun gözlemlendiği proje(ler)e göre filtreleyin.
Neden:
Tek bir yüksek hacimli proje metriklere hâkim olabilir.
Etkilenen daha küçük projeler ilgisiz trafik tarafından maskelenebilir.
Sorunun gerçekten kuruluş genelinde olduğuna inanıyorsanız yalnızca "Tüm projeler" seçili kalsın.
Hata Giderme
HTTP İstekleri Görünümünü Kullanın
Hataları incelemek için:
Modele ve hizmet kademesine göre filtreleyin.
Çalışma Süresi sekmesi yerine HTTP İstekleri sekmesini açın.
Bu görünüm, HTTP durum koduna göre toplam istekleri ve hata sayılarını gösterir. Ayrıntılı ani artışları veya değişiklikleri belirlemek için dakika düzeyi çözünürlüğe yakınlaştırın.
Sayıları Değil, Hata Oranlarını Yorumlayın
Her üretim sisteminde bazı hatalar beklenir. Ham toplamlar yerine hata yüzdesine odaklanın.
Toplam hacminiz ne kadar büyükse, son derece düşük bir hata oranında bile olası hata sayısı o kadar büyük olur.
Hatalar Hizmet Durumu'nda Eksik Olduğunda
İstemci tarafında hatalar görüyorsanız ancak Hizmet Durumu'nda karşılık gelen veri yoksa:
İstekler muhtemelen OpenAI'ye ulaşmamıştır.
Sorun genellikle yukarı akıştadır (zaman aşımları, proxy'ler, ağ).
Bu, agresif istemci tarafı zaman aşımlarında yaygındır.
Gecikme Sorunlarını Giderme
Gecikme analizi, tanımlı SLA'ları bulunan Hızlı mod ve Ölçek Kademesi için en anlamlı sonuçları verir. Standart kademede gecikme daha fazla değişkenlik gösterebilir ve gecikme garantisi yoktur.
Temel Metrikler
Her metriği görüntülemek için ilgili sekmeye tıklayın:
Token Hızı: Saniyede üretilen tokenlar; komut boyutundan bağımsızdır.
İstek Süresi: Toplam istek süresi; çıkış boyutu ve akıl yürütmeden büyük ölçüde etkilenir.
İlk Tokena Kadar Geçen Süre (TTFT): İlk token oluşturulana kadar geçen süre; önbelleğe alınmamış giriş komutu boyutu ve akıl yürütmeden büyük ölçüde etkilenir.
P50 / P75 / P95 persentillerini her zaman inceleyin. Ortalamalar gerçek kullanıcı etkisini gizleyebilir.
6. Gecikmeyi Token Kullanımıyla İlişkilendirme
Hizmet Durumu, davranışın ne zaman değiştiğini gösterir. Kullanım verileri nedenini açıklamaya yardımcı olur.
Kullanım panosunda, Hizmet Durumu Panosu'ndaki görünümünüzle ilgili verilere baktığınızdan emin olmak için şunları yapın:
Aynı proje ve modele göre filtreleyin.
Uygunsa hizmet kademesine göre gruplandırın.
Gecikmeyi en güçlü şekilde etkileyen çıkış tokenlarına odaklanın.
Daha derin analiz için Etkinlik Verilerini dışa aktarın ve zaman içinde istek başına tokenları inceleyin.
7. Destek Ekibiyle Paylaşılacak Bilgiler (Gerekirse)
Destek ekibiyle iletişime geçerseniz şunları ekleyin:
Etkilenen kuruluş kimlikleri (önemli)
Chat Completions veya Responses gibi etkilenen uç noktalar (önemli)
Etkilenen modeller (önemli)
Sorunun Hızlı modda mı yoksa Ölçek Kademesinde mi yaşandığı (önemli)
Gecikme veya hataların yaşandığı, saat dilimi belirtilmiş zaman aralıkları (önemli)
Varsa ilgili x-request-id veya X-Client-Request-Id
Sağladığınız isteklerin saat dilimiyle birlikte zaman damgaları veya en azından tarihleri
Varsa şunları da ekleyin:
İsteklerle ilişkili proje kimliği
Veri yerleşimi isteklerinin etkilenip etkilenmediği ve hangilerinin etkilendiği
Gözlemlediğiniz eğilimlerin açıklamaları
Sorunun türüne göre şunları ekleyin:
Hatalar: Başarısız olan veya hata veren isteklerin yaklaşık yüzdesi, yanıt kodları, hata mesajları ve hata yanıtının alınmasının ne kadar sürdüğü.
Gecikme: Etkilenen yüzdelik dilimler (P50 / P90 / P95 / P99), bunların müşterinin temel değerlerine kıyasla ne kadar yüksek olduğu ve gönderme-alma zaman damgalarıyla birlikte yavaş istek örnekleri.
Her ikisi: Hata veya gecikme verilerinin ekran görüntüleri ya da tablosu ve hata oranlarının veya gecikmenin beklenenden yüksek olduğunu nasıl belirlediğiniz.
Yaygın Sorun Giderme Senaryoları
Zaman Aşımları Oluyor ancak Hizmet Durumu Normal Görünüyor
Olası neden: istekler OpenAI'ye ulaşmadan önce zaman aşımına uğruyor.
Kontrol edin:
İstemci veya proxy zaman aşımı ayarları
Yerel ağ veya yük dengeleyici değişiklikleri
Hizmet Durumu panosunda 499 hatalarının bulunması (bunlar kendi sistemlerinizde 5xx hataları olarak görünebilir).
Dağıtım Olmadan Gecikme Arttı
Olası neden: çıkış token boyutu veya akıl yürütme kullanımı arttı ve/veya trafik hizmet kademeleri arasında kaydı.
Kontrol edin:
Kullanım panosunda istek başına ortalama çıkış tokenları (verilerin indirilip çıkış tokenlarının toplam isteklere bölünmesini gerektirir).
Hizmet Durumu panosundaki İstek Süresi ve TTFT persentilleri.
Hızlı mod veya Ölçek Kademesi Yavaş Görünüyor
Olası neden: metrikler farklı kademelerden gelen verileri bir arada gösterdiği için standart kademe trafiği, ücretli kademenin performansını gizliyor.
Şunları kontrol edin:
Filtrelerin tek bir kademe ve modelle sınırlandırıldığını.
Kademeler arasındaki token hızı karşılaştırmasını.
5XX Hatalarında Ani Artış
Muhtemel neden: trafiğin küçük bir yüzdesini etkileyen geçici hatalar.
Kontrol edin:
Hata oranı yüzdesi
Trafik hacminin aynı anda değişip değişmediği
Sorun Yalnızca Bir Projeyi Etkiliyor
Muhtemel neden: projeye özgü yapılandırma veya kullanım deseni.
Kontrol edin:
Proje düzeyinde filtreleme
Etkilenmeyen projelerle karşılaştırma
Son Çıkarımlar
Metrikleri yorumlamadan önce, ilgili olduğunda modele, kademeye ve projeye göre filtreleyin.
Gecikme analizi için ortalamaları değil persentilleri kullanın.
Küçük hata oranları beklenir.
Eksik veriler genellikle yukarı akış sorunlarına işaret eder.
Kullanım verileri gecikmenin neden değiştiğini açıklamaya yardımcı olabilir; Hizmet Durumu davranışın ne zaman değiştiğini gösterir.