Kesalahan batas laju (“Terlalu Banyak Permintaan”, “Batas laju tercapai”) disebabkan oleh tercapainya batas laju organisasi Anda, yaitu jumlah maksimum permintaan dan token yang dapat dikirimkan per menit. Jika batas tercapai, organisasi tidak dapat mengirimkan permintaan dengan berhasil hingga batas laju direset. Pesan kesalahannya terlihat seperti ini:
Batas laju tercapai untuk gpt-3.5-turbo di organisasi org-exampleorgid123 pada token per menit.
Batas: 10000.000000 / menit. Saat ini: 10020.000000 / menit. Sebaiknya tangani kesalahan ini dengan backoff eksponensial. Backoff eksponensial berarti melakukan jeda singkat saat terjadi kesalahan batas laju, lalu mencoba ulang permintaan yang gagal. Jika permintaan masih gagal, durasi jeda ditingkatkan dan proses diulangi. Ini berlanjut hingga permintaan berhasil atau hingga jumlah maksimum percobaan ulang tercapai.
Karena permintaan yang gagal ikut dihitung dalam batas per menit Anda, mengirim ulang permintaan terus-menerus tidak akan berhasil. Batas laju dapat diterapkan dalam periode yang lebih pendek—misalnya, 1 permintaan per detik untuk batas 60 RPM—artinya lonjakan singkat permintaan bervolume tinggi juga dapat menyebabkan kesalahan batas laju. Backoff eksponensial bekerja dengan baik dengan memberi jarak antarpermintaan untuk meminimalkan frekuensi kesalahan ini.
Di Python, solusi backoff eksponensial dapat terlihat seperti ini:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Harap diperhatikan: Pustaka backoff adalah alat pihak ketiga. Kami menganjurkan semua pelanggan kami untuk melakukan uji kelayakan saat memvalidasi kode eksternal apa pun untuk proyek mereka.)
Jika menerapkan backoff eksponensial masih menghasilkan kesalahan ini, Anda mungkin perlu meningkatkan tingkat penggunaan Anda. Anda dapat melihat batas laju Anda saat ini dan cara meningkatkan tingkat kepercayaan untuk menaikkan batas laju Anda di bagian batas pada pengaturan akun Anda.