Pengantar tentang rate limit
Rate limit adalah pembatasan yang API kami terapkan pada seberapa sering pengguna atau klien dapat mengakses layanan kami dalam periode waktu tertentu.
Rate limit bisa dikuantisasi, artinya diberlakukan dalam periode waktu yang lebih singkat (mis. 60.000 request/menit dapat diberlakukan sebagai 1.000 request/detik). Mengirim lonjakan request singkat atau konteks (prompt+max_completion_tokens) yang terlalu panjang dapat menyebabkan error rate limit, meskipun secara teknis Anda masih di bawah rate limit per menit.
Praktik terbaik untuk mencegah error rate limit
Org default
Jika Anda tergabung dalam beberapa org dengan paket penagihan dan tier penggunaan yang berbeda, pastikan organisasi default Anda disetel ke org yang tepat untuk mengontrol organisasi mana yang digunakan secara default saat membuat request dengan API key Anda.
Exponential backoff
Sertakan logika exponential backoff dalam kode Anda. Ini akan menangkap dan mencoba ulang request yang gagal.
Batas token
Kurangi max_completion_tokens agar sesuai dengan ukuran completion Anda. Kebutuhan penggunaan diperkirakan dari nilai ini, jadi menurunkannya akan mengurangi kemungkinan Anda tiba-tiba menerima error rate limit. Misalnya, jika prompt Anda menghasilkan completion sekitar 400 token, nilai max_tokens sebaiknya kira-kira sebesar itu juga.
Optimalkan prompt Anda. Anda bisa melakukannya dengan mempersingkat instruksi, menghapus kata-kata yang tidak perlu, dan menghilangkan contoh tambahan. Anda mungkin perlu mengerjakan prompt Anda dan mengujinya setelah perubahan ini untuk memastikan semuanya masih berfungsi dengan baik. Manfaat tambahan dari prompt yang lebih pendek adalah biaya yang lebih rendah untuk Anda. Jika Anda butuh bantuan, beri tahu kami.
Tier penggunaan
Jika Anda sudah menerapkan praktik terbaik ini tetapi masih mengalami error rate limit, Anda bisa meningkatkan rate limit Anda dengan menaikkan tier penggunaan. Anda dapat melihat rate limit saat ini, tier penggunaan saat ini, serta cara menaikkan tier penggunaan/batas Anda di bagian Limits pada pengaturan akun Anda.
Bacaan lanjutan
Tinjau dokumentasi lengkap kami tentang tier penggunaan dan rate limit di sini.