Artık belirli modellerde daha hızlı ve daha tutarlı performansa erişmek isteyen Enterprise API müşterileri için Öncelikli işleme sunuyoruz. Aşağıda bunun nasıl çalıştığı, fiyatlandırma, model kullanılabilirliği, hız sınırları, güvenilirlik, politikalar ve uygunluk hakkında sık sorulan soruların yanıtları yer alıyor.
Daha fazla bilgiye buradan ulaşabilirsiniz.
Erişim
Öncelikli işlemeye kimler erişebilir?
Öncelikli işleme şu anda Enterprise müşterileri için kullanılabilir.
Öncelikli işleme tüm bölgelerde kullanılabilir mi?
Öncelikli işlemenin kullanılabilirliği, her yargı alanındaki geçerli yasa ve düzenlemelere bağlıdır. Bölgenizdeki kullanılabilirlik hakkında sorularınız varsa lütfen Account Director'ınızla iletişime geçin.
Fiyatlandırma
Öncelikli işlemeyi kullanmaya nasıl başlarım?
Müşteriler, mevcut service_tier parametresini kullanarak ve service_tier="priority" seçeneğiyle, istek bazında trafiği Öncelikli işlemeye yönlendirebilir.
Bu, Scale Tier ile nasıl etkileşir?
Scale Tier, Öncelikli işleme ile ayrı kalacaktır. Öncelikli işlemeye gönderilen istekler ayrı olarak faturalandırılacak ve satın aldığınız Scale Tier TPM paketlerinizden düşülmeyecektir.
Scale Tier taşma trafiğimi otomatik olarak Öncelikli işlemeye gönderebilir miyim?
Hayır. Scale Tier'a gönderilen trafik otomatik olarak Öncelikli işlemeye taşmaz.
Öncelikli işleme nasıl faturalandırılır?
Öncelikli işleme tarafından sunulan token'lar, Standard işleme ücretlerine göre daha yüksek bir fiyatla, token başına faturalandırılacaktır.
Yıllık taahhüdüm belirli bir işleme moduna mı bağlı?
Hayır. Tüm işleme modları, yıllık Enterprise harcama taahhüdünüzden düşer.
Önbelleğe alınmış giriş token'larında yine indirim alıyor muyum?
Evet! Önbelleğe Alınmış Girdiler, Standard işlemede olduğu gibi aynı %50-75 indirimi alır.
Öncelikli işleme kullanımımı ve harcamamı nasıl görüntülerim?
Öncelikli işleme tarafından işlenen token'ları görüntülemek için Usage panosuna gidin, Chat Completions veya Responses'ı seçin ve Service Tier'a göre gruplayın. Öncelikli işleme maliyetini görüntülemek için Usage panosuna gidin ve Line Item'a göre grupla seçeneğini seçin.
Modeller
Öncelikli işleme uzun bağlam, ince ayarlı modeller, embedding'ler vb. için kullanılabilir mi?
Şu anda değil. Gelecekte, en yeni modellerimizin ötesindeki ek ürünlerde Öncelikli işleme sunup sunmamayı değerlendireceğiz.
Diğer modaliteler Öncelikli işleme ile nasıl çalışır?
Öncelikli işleme, Standard'da mevcut olan aynı çok modlu yetenekleri destekler. Özellikle görüntüler, Öncelikli işleme için girdi olarak kullanılabilir ve aynı hızlı gecikmeyle işlenir.
Gelecekteki modeller desteklenecek mi?
Yeni GPT modellerinde Öncelikli işleme sunmayı planlıyoruz, ancak her modelin destekleneceğini garanti etmiyoruz.
Hız sınırları
Hız sınırları nelerdir?
Öncelikli işleme tüketimi, hız sınırları açısından standart API trafiğiyle aynı şekilde değerlendirilir.
Artış hızı sınırları nelerdir?
Tüm müşteriler için tutarlı biçimde yüksek performans sağlarken aynı zamanda esnek, isteğe bağlı fiyatlandırma sunmak amacıyla Öncelikli işlemede artış hızı sınırları vardır. Eğer (a) Öncelikli işleme performansı düşerse VE (b) bir müşterinin trafiği çok hızlı artarsa, nadir durumlarda bazı Öncelikli istekler bunun yerine Standard işlemeye düşürülebilir.
Öncelikli işlemenin mevcut artış hızı sınırı, temel belgelerimizde burada tanımlanmıştır.
Artış hızı sınırınız içinde kalmak için en iyi uygulamalar
Model değiştirirken trafiği kademeli olarak artırın. Örneğin, uygulamanız önceki bir snapshot'tan yenisine geçiyorsa, tümünü bir anda geçirmek yerine trafiği birkaç saat boyunca geçirmek için bir özellik bayrağı kullanın.
Öncelikli işlemeyle büyük veri işleme veya eşzamansız işler çalıştırmaktan kaçının. Bu işler trafiği çok hızlı artırabilir ve çoğu zaman Öncelikli işlemenin iyileştirilmiş performansına ihtiyaç duymaz.
Rutin olarak artış hızı sınırlarıyla karşılaşıyorsanız, bunun yerine Scale tier kotası satın almayı değerlendirin.
Artış hızı sınırları projelerim veya kuruluşlarım arasında paylaşılıyor mu?
Evet, tüm trafiğiniz aynı artış hızı sınırına katkıda bulunur.
Politikalar
Öncelikli işleme gecikme hedefini karşılamıyorsa ne olur?
Her türlü soru veya endişeniz için lütfen AD'nize ulaşın. Öncelikli işleme SLA'leri, Scale Tier SLA'leriyle aynı şekilde ele alınacaktır; belirli bir zaman aralığında Enterprise sözleşmeleri kapsamındaki müşteriler için bu SLA'leri karşılayamazsak hizmet kredileri sunulacaktır.
Öncelikli işleme Data Residency ile uyumlu mu?
Evet.
Öncelikli işleme ZDR ve BAA ile uyumlu mu?
Evet.