Pengantar batas laju
Batas laju adalah pembatasan yang diterapkan API kami pada berapa kali pengguna atau klien dapat mengakses layanan kami dalam periode waktu tertentu.
Batas laju dapat dikuantisasi, artinya batas tersebut diberlakukan dalam periode waktu yang lebih singkat (misalnya 60.000 permintaan/menit dapat diberlakukan sebagai 1.000 permintaan/detik). Mengirim lonjakan singkat permintaan atau konteks (prompt+max_completion_tokens) yang terlalu panjang dapat menyebabkan galat batas laju, meskipun secara teknis Anda berada di bawah batas laju per menit.
Praktik terbaik untuk mencegah galat batas laju
Organisasi default
Jika Anda tergabung dalam beberapa organisasi dengan paket penagihan dan tingkat penggunaan yang berbeda, pastikan organisasi default Anda diatur ke organisasi yang tepat untuk mengontrol organisasi mana yang digunakan secara default saat membuat permintaan dengan kunci API Anda.
Backoff eksponensial
Sertakan logika backoff eksponensial dalam kode Anda. Ini akan menangkap dan mencoba kembali permintaan yang gagal.
Batas token
Kurangi max_completion_tokens agar sesuai dengan ukuran completion Anda. Kebutuhan penggunaan diperkirakan dari nilai ini, sehingga menguranginya akan menurunkan kemungkinan Anda menerima galat batas laju secara tak terduga. Misalnya, jika prompt Anda membuat completion sekitar 400 token, nilai max_tokens sebaiknya sekitar ukuran yang sama.
Optimalkan prompt Anda. Anda dapat melakukannya dengan membuat instruksi lebih singkat, menghapus kata tambahan, dan menghilangkan contoh tambahan. Anda mungkin perlu menyesuaikan prompt dan mengujinya setelah perubahan ini untuk memastikan prompt tersebut tetap bekerja dengan baik. Manfaat tambahan dari prompt yang lebih singkat adalah biaya yang lebih rendah bagi Anda. Jika Anda memerlukan bantuan, beri tahu kami.
Tingkat penggunaan
Jika Anda sudah menerapkan praktik terbaik ini tetapi masih mengalami galat batas laju, Anda dapat meningkatkan batas laju dengan menaikkan tingkat penggunaan Anda. Anda dapat melihat batas laju saat ini, tingkat penggunaan saat ini, dan cara menaikkan tingkat/batas penggunaan Anda di bagian Limits pada pengaturan akun Anda.
Bacaan lebih lanjut
Tinjau dokumentasi lengkap kami tentang tingkat penggunaan dan batas laju di sini.