Kesalahan watesan rate ('Too Many Requests', ‘Rate limit reached’) disebabake amarga watesan rate organisasi sampeyan wis ketekan, yaiku jumlah maksimal panjaluk lan token sing bisa dikirim saben menit. Yen watesan wis tekan, organisasi ora bisa ngirim panjaluk kanthi kasil nganti watesan rate direset. Pesen kesalahane katon kaya iki:
Wates rate wis tekan kanggo gpt-3.5-turbo ing organisasi org-exampleorgid123 kanggo token saben menit.
Wates: 10000.000000 / min. Saiki: 10020.000000 / min. Disaranake nangani kesalahan iki nganggo backoff eksponensial. Backoff eksponensial tegese nindakake tundha sedhela nalika ana kesalahan watesan rate, banjur nyoba maneh panjaluk sing gagal. Yen panjaluk isih durung kasil, wektu tundhane ditambah lan prosese dibaleni. Iki terus ditindakake nganti panjaluk kasil utawa nganti jumlah maksimal nyoba maneh wis tekan.
Amarga panjaluk sing gagal melu nambah watesan saben menit sampeyan, terus-terusan ngirim maneh panjaluk ora bakal bisa. Watesan rate bisa ditrapake ing periode sing luwih cendhak - contone, 1 panjaluk saben detik kanggo watesan 60 RPM - tegese lonjakan panjaluk volume dhuwur sing cendhak uga bisa nyebabake kesalahan watesan rate. Backoff eksponensial bisa mlaku apik kanthi menehi jarak antarane panjaluk kanggo nyuda frekuensi kesalahan iki.
Ing Python, solusi backoff eksponensial bisa katon kaya iki:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Mangga digatekake: Pustaka backoff iku piranti pihak katelu. Kita nyengkuyung kabeh pelanggan supaya nindakake pemeriksaan kanthi tliti nalika ngesahake kode eksternal apa wae kanggo proyeke.)
Yen ngetrapake backoff eksponensial isih nyebabake kesalahan iki, sampeyan bisa uga kudu nambah tingkat panggunaan sampeyan. Sampeyan bisa ndeleng watesan rate saiki lan carane nambah tingkat kapercayan kanggo nambah watesan rate ing bagean watesan setelan akun sampeyan.