Nasıl çalışır?

Müşteriler, mevcut service_tier parametresini service_tier = "fast" seçeneğiyle kullanarak trafiği istek bazında Hızlı moda yönlendirebilir.

Hızlı modun işlediği tokenler, Standart işleme ücretlerine kıyasla daha yüksek bir fiyatla token başına faturalandırılır.

Hızlı modu istek düzeyinde yapılandırmanın yanı sıra Proje ayarları > Varsayılan Hizmet Kademesi: Hızlı bölümünden bir projenin varsayılanı olarak da ayarlayabilirsiniz. Bu ayarı yine de her istek için geçersiz kılabilirsiniz. Proje ayarlarınızda Hızlı'yı seçmek, Öncelikli'yi seçmekle aynıdır.

Bu, Ölçek Kademesi ile birlikte nasıl çalışır?

Ölçek Kademesi, Hızlı moddan ayrı kalacaktır. Hızlı moda gönderilen istekler ayrı olarak faturalandırılır ve satın aldığınız Ölçek Kademesi TPM paketlerinden düşülmez.

Ölçek Kademesi kapasitesini aşan trafiğimi otomatik olarak Hızlı moda gönderebilir miyim?

Hayır. Ölçek Kademesine gönderilen trafik, kapasite aşıldığında otomatik olarak Hızlı moda aktarılmaz.

Hızlı mod nasıl faturalandırılır?

Hızlı modun işlediği tokenler, Standart işleme ücretlerine kıyasla daha yüksek bir fiyatla token başına faturalandırılır.

Yıllık taahhüdüm belirli bir işleme moduna bağlı mı?

Hayır. Tüm işleme modları, yıllık Enterprise harcama taahhüdünüze sayılır.

Önbelleğe alınmış girdi tokenleri için yine indirim alır mıyım?

Evet! Önbelleğe Alınmış Girdilere, Standart işlemede olduğu gibi aynı %50-75 oranında indirim uygulanır.

Hızlı mod kullanımımı ve harcamalarımı nasıl görüntülerim?

Hızlı mod (eski adıyla Öncelikli işleme) tarafından işlenen tokenleri görüntülemek için Kullanım panosuna gidin, Chat Completions veya Responses'ı seçin ve Hizmet Kademesine Göre Grupla seçeneğini kullanın.

Hızlı mod maliyetini görüntülemek için Kullanım panosuna gidin ve Kaleme Göre Grupla'yı seçin.

Kullanım panosunda, service_tier olarak priority veya fast kullanan istekler priority olarak görünmeye devam eder. Bu, gelecekteki modeller için güncellenecektir.

Modeller

Hızlı mod uzun bağlam, ince ayarlı modeller, gömmeler vb. için kullanılabilir mi?

Şu anda hayır. Gelecekte Hızlı modu en yeni modellerimizin yanı sıra başka ürünlerde de sunup sunmayacağımızı değerlendireceğiz.

Diğer modaliteler Hızlı modla nasıl çalışır?

Hızlı mod, Standart modda bulunan çok modlu özelliklerin aynısını destekler. Özellikle görseller, Öncelikli işlemede girdi olarak kullanılabilir ve aynı düşük gecikme süresiyle işlenir.

Gelecekteki modeller desteklenecek mi?

Yeni GPT modellerinde Hızlı mod sunmayı planlıyoruz ancak her modelin destekleneceğini garanti etmiyoruz.

Kullanım limitleri

Kullanım limitleri nelerdir?

Kullanım limitleri açısından Öncelikli işleme tüketimi, standart API trafiğiyle aynı şekilde değerlendirilir.

Trafik artış hızı limitleri nelerdir?

Hızlı modda, esnek ve talebe dayalı fiyatlandırma sunarken tüm müşteriler için sürekli yüksek performans sağlamak amacıyla trafik artış hızı limitleri uygulanır. Nadir durumlarda, (a) Hızlı mod performansı düşerse VE (b) bir müşterinin trafiği çok hızlı artarsa bazı istekler bunun yerine Standart işlemeye geçirilebilir.

Güncel Hızlı mod trafik artış hızı limiti, ana belgelerimizde burada tanımlanmıştır.

Trafik artış hızı limitiniz içinde kalmaya yönelik en iyi uygulamalar

Model değiştirirken trafiği kademeli olarak artırın. Örneğin uygulamanız önceki bir anlık görüntüden yenisine geçiyorsa tüm trafiği bir kerede geçirmek yerine birkaç saate yaymak için bir özellik bayrağı kullanın.

Hızlı modda büyük veri işleme veya eşzamansız işler çalıştırmaktan kaçının. Bu işler trafiği çok hızlı artırabilir ve genellikle Hızlı modun sağladığı yüksek performansa ihtiyaç duymaz.

Trafik artış hızı limitlerine sık sık takılıyorsanız bunun yerine Ölçek Kademesi kotası satın almayı değerlendirin.

Trafik artış hızı limitleri projelerim veya kuruluşlarım arasında ortak mı?

Evet, tüm trafiğiniz aynı trafik artış hızı limitine dâhildir.

Politikalar

Hızlı mod gecikme hedefine ulaşamazsa ne olur?

Sorularınız veya endişeleriniz varsa lütfen AD'nizle iletişime geçin. Hızlı mod SLA'ları, Ölçek Kademesi SLA'larıyla aynı şekilde değerlendirilir. Belirli bir zaman aralığında Enterprise sözleşmeli müşteriler için bu SLA'ları karşılayamazsak hizmet kredisi sunulur.

Hızlı mod veri yerleşimiyle uyumlu mu?

Evet.

Hızlı mod ZDR ve BAA ile uyumlu mu?

Evet.