Error batas laju ('Terlalu Banyak Permintaan', ‘Batas laju tercapai’) disebabkan oleh tercapainya batas laju organisasi Anda, yaitu jumlah maksimum permintaan dan token yang dapat dikirim per menit. Jika batas tercapai, organisasi tidak dapat berhasil mengirim permintaan sampai batas laju diatur ulang. Pesan errornya terlihat seperti ini:
Batas laju tercapai untuk gpt-3.5-turbo di organisasi org-exampleorgid123 pada token per menit.
Batas: 10000.000000 / menit. Saat ini: 10020.000000 / menit. Kami menyarankan untuk menangani error ini dengan exponential backoff. Exponential backoff berarti melakukan jeda singkat saat terjadi error batas laju, lalu mencoba lagi permintaan yang gagal. Jika permintaan masih gagal, durasi jeda ditingkatkan dan prosesnya diulangi. Ini berlanjut sampai permintaan berhasil atau sampai jumlah maksimum percobaan ulang tercapai.
Karena permintaan yang gagal tetap dihitung dalam batas per menit Anda, terus-menerus mengirim ulang permintaan tidak akan berhasil. Batas laju dapat diterapkan dalam periode yang lebih singkat—misalnya, 1 permintaan per detik untuk batas 60 RPM—artinya lonjakan singkat permintaan bervolume tinggi juga dapat menyebabkan error batas laju. Exponential backoff bekerja baik dengan memberi jarak antarpermintaan untuk meminimalkan frekuensi error ini.
Dalam Python, solusi exponential backoff dapat terlihat seperti ini:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Harap dicatat: library backoff adalah alat pihak ketiga. Kami mendorong semua pelanggan kami untuk melakukan uji tuntas saat memvalidasi kode eksternal apa pun untuk proyek mereka.)
Jika penerapan exponential backoff masih menghasilkan error ini, Anda mungkin perlu meningkatkan tingkat penggunaan Anda. Anda dapat melihat batas laju Anda saat ini dan cara meningkatkan trust tier untuk menaikkan batas laju Anda di bagian limits pada pengaturan akun Anda.