Kini kami menawarkan pemrosesan Prioritas untuk pelanggan API Enterprise yang menginginkan akses ke performa yang lebih cepat dan lebih konsisten pada model tertentu. Di bawah ini adalah jawaban atas pertanyaan umum tentang cara kerjanya, harga, ketersediaan model, batas laju, keandalan, kebijakan, dan kelayakan.
Pelajari lebih lanjut di sini.
Akses
Siapa yang dapat mengakses pemrosesan Prioritas?
Pemrosesan Prioritas saat ini tersedia untuk pelanggan Enterprise.
Apakah pemrosesan Prioritas tersedia di semua wilayah?
Ketersediaan pemrosesan Prioritas bergantung pada hukum dan peraturan yang berlaku di setiap yurisdiksi. Silakan hubungi Account Director Anda jika ada pertanyaan tentang ketersediaan di wilayah Anda.
Harga
Bagaimana cara mulai menggunakan pemrosesan Prioritas?
Pelanggan dapat mengarahkan traffic ke pemrosesan Prioritas per permintaan menggunakan parameter service_tier yang sudah ada, dengan opsi service_tier="priority".
Bagaimana ini berinteraksi dengan Tingkat Skala?
Tingkat Skala akan tetap terpisah dari pemrosesan Prioritas. Permintaan yang dikirim ke pemrosesan Prioritas akan ditagih secara terpisah dan tidak akan dihitung terhadap paket TPM Tingkat Skala yang Anda beli.
Dapatkah saya otomatis mengirim traffic limpahan Tingkat Skala saya ke pemrosesan Prioritas?
Tidak. Traffic yang dikirim ke Tingkat Skala tidak akan otomatis melimpah ke pemrosesan Prioritas.
Bagaimana pemrosesan Prioritas ditagih?
Token yang dilayani oleh pemrosesan Prioritas akan ditagih per token, dengan harga premium dibandingkan tarif pemrosesan Standar.
Apakah komitmen tahunan saya terikat pada mode pemrosesan tertentu?
Tidak. Semua mode pemrosesan dihitung terhadap komitmen belanja Enterprise tahunan Anda.
Apakah saya tetap mendapat diskon untuk token input yang di-cache?
Ya! Input yang di-cache menerima diskon 50–75% yang sama seperti pada pemrosesan Standar.
Bagaimana cara melihat penggunaan dan belanja pemrosesan Prioritas saya?
Untuk melihat token yang diproses oleh pemrosesan Prioritas, buka dasbor Usage, pilih Chat Completions atau Responses, lalu Group by Service Tier. Untuk melihat biaya pemrosesan Prioritas, buka dasbor Usage, lalu pilih Group by Line Item.
Model
Apakah pemrosesan Prioritas tersedia untuk konteks panjang, model yang di-fine-tune, embeddings, dll.?
Belum saat ini. Kami akan mengevaluasi di masa mendatang apakah akan menawarkan pemrosesan Prioritas pada produk tambahan di luar model terbaru kami.
Bagaimana modalitas lain bekerja dengan pemrosesan Prioritas?
Pemrosesan Prioritas mendukung kemampuan multimodal yang sama seperti yang tersedia pada Standar. Secara khusus, gambar dapat digunakan sebagai input untuk pemrosesan Prioritas dan diproses dengan latensi cepat yang sama.
Apakah model mendatang akan didukung?
Kami berencana menawarkan pemrosesan Prioritas pada model GPT baru, tetapi kami tidak menjamin bahwa setiap model akan didukung.
Batas laju
Apa saja batas lajunya?
Konsumsi pemrosesan Prioritas diperlakukan sama seperti traffic API standar untuk batas laju.
Apa itu batas laju peningkatan?
Pemrosesan Prioritas memiliki batas laju peningkatan untuk memastikan performa yang konsisten tinggi bagi semua pelanggan, sekaligus tetap menyediakan harga sesuai permintaan yang fleksibel. Jika (a) performa pemrosesan Prioritas menurun DAN (b) traffic pelanggan meningkat terlalu cepat, maka dalam kasus yang jarang terjadi, beberapa permintaan Prioritas dapat diturunkan ke pemrosesan Standar.
Batas laju peningkatan pemrosesan Prioritas saat ini dijelaskan dalam dokumentasi utama kami di sini.
Praktik terbaik agar tetap berada dalam batas laju peningkatan Anda
Tingkatkan traffic secara bertahap saat mengganti model. Misalnya, jika aplikasi Anda beralih dari snapshot sebelumnya ke yang baru, gunakan feature flag untuk mengalihkan traffic selama beberapa jam, bukan sekaligus.
Hindari menjalankan pemrosesan data besar atau pekerjaan asinkron pada pemrosesan Prioritas. Pekerjaan ini dapat meningkatkan traffic dengan sangat cepat, dan sering kali tidak memerlukan performa pemrosesan Prioritas yang lebih baik.
Jika Anda rutin menghadapi batas laju peningkatan, pertimbangkan untuk membeli kuota Tingkat Skala sebagai gantinya.
Apakah batas laju peningkatan dibagikan di seluruh proyek atau organisasi saya?
Ya, semua traffic Anda berkontribusi pada batas laju peningkatan yang sama.
Kebijakan
Apa yang terjadi jika pemrosesan Prioritas tidak memenuhi target latensi?
Silakan hubungi AD Anda jika ada pertanyaan atau kekhawatiran. SLA pemrosesan Prioritas akan diperlakukan sama seperti SLA Tingkat Skala; kredit layanan akan ditawarkan jika kami gagal memenuhi SLA tersebut untuk pelanggan dengan perjanjian Enterprise selama jangka waktu tertentu.
Apakah pemrosesan Prioritas kompatibel dengan residensi data?
Ya.
Apakah pemrosesan Prioritas kompatibel dengan ZDR dan BAA?
Ya.