Pengenalan kepada had kadar
Had kadar ialah sekatan yang dikenakan oleh API kami terhadap bilangan kali pengguna atau klien boleh mengakses perkhidmatan kami dalam tempoh masa yang ditetapkan.
Had kadar boleh dikuantumkan, bermaksud ia dikuatkuasakan dalam tempoh masa yang lebih pendek (cth. 60,000 permintaan/minit mungkin dikuatkuasakan sebagai 1,000 permintaan/saat). Menghantar permintaan secara letusan singkat atau konteks (prompts+max_completion_tokens) yang terlalu panjang boleh menyebabkan ralat had kadar, walaupun secara teknikal anda berada di bawah had kadar per minit.
Amalan terbaik untuk mencegah ralat had kadar
Organisasi lalai
Jika anda tergolong dalam berbilang organisasi dengan pelan pengebilan dan tahap penggunaan yang berbeza, pastikan organisasi lalai anda ditetapkan kepada organisasi yang sesuai untuk mengawal organisasi mana yang digunakan secara lalai apabila membuat permintaan dengan kunci API anda.
Backoff eksponen
Sertakan logik backoff eksponen dalam kod anda. Ini akan mengesan dan mencuba semula permintaan yang gagal.
Had token
Kurangkan max_completion_tokens agar sepadan dengan saiz pelengkapan anda. Keperluan penggunaan dianggarkan daripada nilai ini, jadi mengurangkannya akan mengurangkan kemungkinan anda menerima ralat had kadar tanpa dijangka. Contohnya, jika gesaan anda menghasilkan pelengkapan sekitar 400 token, nilai max_tokens sepatutnya sekitar saiz yang sama.
Optimumkan gesaan anda. Anda boleh melakukannya dengan memendekkan arahan, membuang perkataan berlebihan dan menghapuskan contoh tambahan. Anda mungkin perlu mengolah gesaan anda dan mengujinya selepas perubahan ini untuk memastikan ia masih berfungsi dengan baik. Kelebihan tambahan gesaan yang lebih pendek ialah kos anda berkurang. Jika anda perlukan bantuan, maklumkan kepada kami.
Tahap penggunaan
Jika anda telah melaksanakan amalan terbaik ini tetapi masih menghadapi ralat had kadar, anda boleh meningkatkan had kadar anda dengan menaikkan tahap penggunaan anda. Anda boleh melihat had kadar semasa, tahap penggunaan semasa anda dan cara menaikkan tahap penggunaan/had anda dalam bahagian Had pada tetapan akaun anda.
Bacaan lanjut
Semak dokumentasi lengkap kami tentang tahap penggunaan dan had kadar di sini.