Panimula sa mga rate limit

Ang mga rate limit ay mga paghihigpit na ipinapataw ng aming API sa dami ng beses na maa-access ng isang user o client ang aming mga serbisyo sa loob ng tinukoy na panahon.

Maaaring i-quantize ang mga rate limit, ibig sabihin ipinapatupad ang mga ito sa mas maiikling yugto ng panahon (hal. maaaring ipatupad ang 60,000 request/minuto bilang 1,000 request/segundo). Ang pagpapadala ng maiikling bugso ng mga request o konteksto (prompts+max_completion_tokens) na masyadong mahaba ay maaaring humantong sa mga error sa rate limit, kahit teknikal kang mas mababa sa rate limit kada minuto.

Mga best practice para maiwasan ang mga error sa rate limit

Default na org

Kung kabilang ka sa maraming org na may iba’t ibang billing plan at usage tier, tiyaking nakatakda ang iyong default na organization sa naaangkop na org para makontrol kung aling organization ang gagamitin bilang default kapag gumagawa ng mga request gamit ang iyong mga API key.

Exponential backoff

Isama ang lohika ng exponential backoff sa iyong code. Sasalo ito at muling susubok ng mga nabigong request.

Mga limit ng token

Bawasan ang max_completion_tokens para tumugma sa laki ng iyong mga completion. Tinatantya ang pangangailangan sa paggamit batay sa value na ito, kaya ang pagbabawas nito ay magpapababa ng posibilidad na hindi inaasahang makatanggap ka ng error sa rate limit. Halimbawa, kung gumagawa ang iyong prompt ng mga completion na humigit-kumulang 400 token, dapat nasa halos parehong laki ang value ng max_tokens.


I-optimize ang iyong mga prompt. Magagawa mo ito sa pamamagitan ng pagpapaikli ng iyong mga tagubilin, pag-aalis ng sobrang salita, at pagtanggal ng mga sobrang halimbawa. Maaaring kailanganin mong ayusin ang iyong prompt at subukan ito pagkatapos ng mga pagbabagong ito para matiyak na gumagana pa rin ito nang maayos. Ang dagdag na benepisyo ng mas maikling prompt ay mas mababang gastos para sa iyo. Kung kailangan mo ng tulong, ipaalam sa amin.

Tier sa paggamit

Kung naipatupad mo na ang mga best practice na ito ngunit nakakaranas ka pa rin ng mga error sa rate limit, maaari mong taasan ang iyong mga rate limit sa pamamagitan ng pagtaas ng iyong usage tier. Makikita mo ang iyong kasalukuyang mga rate limit, kasalukuyang usage tier, at kung paano itaas ang iyong usage tier/mga limit sa seksyon ng Limits ng mga setting ng iyong account.

Karagdagang babasahin

Suriin ang aming komprehensibong dokumentasyon tungkol sa mga usage tier at rate limit dito.