Kami kini menawarkan pemprosesan Priority untuk pelanggan API Enterprise yang mahukan akses kepada prestasi yang lebih pantas dan lebih konsisten pada model tertentu. Di bawah ialah jawapan kepada soalan lazim tentang cara ia berfungsi, harga, ketersediaan model, had kadar, kebolehpercayaan, dasar dan kelayakan.
Ketahui lebih lanjut di sini.
Akses
Siapakah yang boleh mengakses pemprosesan Priority?
Pemprosesan Priority kini tersedia kepada pelanggan Enterprise.
Adakah pemprosesan Priority tersedia di semua rantau?
Ketersediaan pemprosesan Priority bergantung pada undang-undang dan peraturan yang terpakai di setiap bidang kuasa. Sila hubungi Account Director anda jika anda mempunyai soalan tentang ketersediaan di rantau anda.
Harga
Bagaimanakah saya mula menggunakan pemprosesan Priority?
Pelanggan boleh mengarahkan trafik kepada pemprosesan Priority berdasarkan setiap permintaan menggunakan parameter service_tier sedia ada, dengan pilihan service_tier="priority".
Bagaimanakah ini berinteraksi dengan Scale Tier?
Scale Tier akan kekal berasingan daripada pemprosesan Priority. Permintaan yang dihantar kepada pemprosesan Priority akan dibilkan secara berasingan dan tidak akan dikira terhadap berkas TPM Scale Tier yang anda beli.
Bolehkah saya menghantar trafik limpahan Scale Tier saya secara automatik kepada pemprosesan Priority?
Tidak. Trafik yang dihantar kepada Scale Tier tidak akan melimpah secara automatik kepada pemprosesan Priority.
Bagaimanakah pemprosesan Priority dibilkan?
Token yang disediakan oleh pemprosesan Priority akan dibilkan berdasarkan setiap token, pada harga premium berbanding kadar pemprosesan Standard.
Adakah komitmen tahunan saya terikat kepada mod pemprosesan tertentu?
Tidak. Semua mod pemprosesan dikira terhadap komitmen perbelanjaan Enterprise tahunan anda.
Adakah saya masih mendapat diskaun untuk token input cache?
Ya! Input cache menerima diskaun 50-75% yang sama seperti dalam pemprosesan Standard.
Bagaimanakah saya melihat penggunaan dan perbelanjaan pemprosesan Priority saya?
Untuk melihat token yang diproses oleh pemprosesan Priority, pergi ke papan pemuka Usage, pilih Chat Completions atau Responses, dan Group by Service Tier. Untuk melihat kos pemprosesan Priority, pergi ke papan pemuka Usage dan pilih Group by Line Item.
Model
Adakah pemprosesan Priority tersedia untuk konteks panjang, model yang diperhalus, pembenaman dan sebagainya?
Bukan pada masa ini. Kami akan menilai pada masa hadapan sama ada untuk menawarkan pemprosesan Priority pada produk tambahan selain model terbaru kami.
Bagaimanakah modaliti lain berfungsi dengan pemprosesan Priority?
Pemprosesan Priority menyokong keupayaan multimodal yang sama seperti yang tersedia pada Standard. Khususnya, imej boleh digunakan sebagai input kepada pemprosesan Priority dan diproses dengan kependaman pantas yang sama.
Adakah model akan datang akan disokong?
Kami merancang untuk menawarkan pemprosesan Priority pada model GPT baharu, tetapi kami tidak menjamin bahawa setiap model akan disokong.
Had kadar
Apakah had kadar?
Penggunaan pemprosesan Priority dilayan sama seperti trafik API standard untuk had kadar.
Apakah had kadar peningkatan?
Pemprosesan Priority mempunyai had kadar peningkatan untuk memastikan prestasi tinggi yang konsisten bagi semua pelanggan, sambil tetap menyediakan harga atas permintaan yang fleksibel. Jika (a) prestasi pemprosesan Priority merosot DAN (b) trafik pelanggan meningkat terlalu cepat, maka dalam keadaan yang jarang berlaku, sesetengah permintaan Priority mungkin diturunkan kepada pemprosesan Standard.
Had kadar peningkatan semasa untuk pemprosesan Priority ditakrifkan dalam dokumentasi utama kami di sini.
Amalan terbaik untuk kekal dalam had kadar peningkatan anda
Tingkatkan trafik secara beransur-ansur apabila menukar model. Contohnya, jika aplikasi anda beralih daripada syot kilat terdahulu kepada yang baharu, gunakan bendera ciri untuk mengalihkan trafik dalam tempoh beberapa jam dan bukannya sekali gus.
Elakkan menjalankan pemprosesan data berskala besar atau kerja tak segerak pada pemprosesan Priority. Kerja ini boleh meningkatkan trafik dengan sangat cepat, dan selalunya tidak memerlukan prestasi pemprosesan Priority yang lebih baik.
Jika anda kerap menghadapi had kadar peningkatan, pertimbangkan untuk membeli kuota tier Scale sebagai gantinya.
Adakah had kadar peningkatan dikongsi merentas projek atau organisasi saya?
Ya, semua trafik anda menyumbang kepada had kadar peningkatan yang sama.
Dasar
Apakah yang berlaku jika pemprosesan Priority tidak mencapai sasaran kependaman?
Sila hubungi AD anda jika ada sebarang soalan atau kebimbangan. SLA pemprosesan Priority akan dilayan sama seperti SLA Scale Tier; kredit perkhidmatan akan ditawarkan sekiranya kami gagal memenuhi SLA tersebut untuk pelanggan dengan perjanjian Enterprise dalam tetingkap masa tertentu.
Adakah pemprosesan Priority serasi dengan Data Residency?
Ya.
Adakah pemprosesan Priority serasi dengan ZDR dan BAA?
Ya.