Ang mga error sa rate limit ('Too Many Requests', ‘Rate limit reached’) ay dulot ng pag-abot sa rate limit ng iyong organisasyon, na siyang maximum na bilang ng mga request at token na maaaring isumite kada minuto. Kung naabot ang limitasyon, hindi matagumpay na makakapagsumite ng mga request ang organisasyon hanggang sa ma-reset ang rate limit. Ganito ang hitsura ng mensahe ng error:
Naabot ang rate limit para sa gpt-3.5-turbo sa organisasyong org-exampleorgid123 sa tokens bawat min.
Limit: 10000.000000 / min. Kasalukuyan: 10020.000000 / min. Inirerekomenda naming pangasiwaan ang mga error na ito gamit ang exponential backoff. Ang exponential backoff ay nangangahulugang magsagawa ng maikling paghinto kapag nagkaroon ng error sa rate limit, pagkatapos ay subukang muli ang hindi matagumpay na request. Kung hindi pa rin matagumpay ang request, pinahahaba ang oras ng paghinto at inuulit ang proseso. Nagpapatuloy ito hanggang sa maging matagumpay ang request o hanggang maabot ang maximum na bilang ng mga muling pagsubok.
Dahil nakakadagdag ang mga hindi matagumpay na request sa iyong limitasyon kada minuto, hindi uubra ang tuloy-tuloy na muling pagpapadala ng request. Maaaring ilapat ang mga rate limit sa mas maiikling panahon - halimbawa, 1 request kada segundo para sa 60 RPM na limitasyon - ibig sabihin, maaari ding humantong sa mga error sa rate limit ang maiikling bugso ng maraming request. Gumagana nang mahusay ang exponential backoff sa pamamagitan ng pagpapalayo-layo ng pagitan ng mga request upang mabawasan ang dalas ng mga error na ito.
Sa Python, maaaring ganito ang hitsura ng solusyon sa exponential backoff:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Pakitandaan: Ang backoff library ay isang third-party na tool. Hinihikayat namin ang lahat ng aming customer na magsagawa ng nararapat na pagsusuri pagdating sa pag-validate ng anumang panlabas na code para sa kanilang mga proyekto.)
Kung nagreresulta pa rin sa error na ito ang pagpapatupad ng exponential backoff, maaaring kailanganin mong taasan ang iyong usage tier. Maaari mong tingnan ang iyong kasalukuyang mga rate limit at kung paano taasan ang iyong trust tier upang mapataas ang iyong mga rate limit sa seksyon ng mga limitasyon ng mga setting ng iyong account.