Villur vegna hraðatakmörkunar („Too Many Requests“, „Rate limit reached“) verða þegar hraðatakmörkun fyrirtækisins þíns er náð, sem er hámarksfjöldi beiðna og tóka sem hægt er að senda inn á mínútu. Ef hámarkinu er náð getur fyrirtækið ekki sent inn beiðnir með árangri fyrr en hraðatakmörkunin er endurstillt. Villuboðin líta svona út:
Hraðatakmörkun náð fyrir gpt-3.5-turbo í fyrirtæki org-exampleorgid123 fyrir tókar á mín.
Mörk: 10000.000000 / mín. Núverandi: 10020.000000 / mín. Við mælum með að meðhöndla þessar villur með veldisvaxandi bið. Veldisvaxandi bið felur í sér að gera stutt hlé þegar villa vegna hraðatakmörkunar kemur upp og reyna síðan aftur beiðnina sem mistókst. Ef beiðnin mistekst enn er biðtíminn lengdur og ferlið endurtekið. Þetta heldur áfram þar til beiðnin tekst eða hámarksfjölda endurtilrauna er náð.
Þar sem misheppnaðar beiðnir teljast með í mínútutakmörkuninni þinni mun það ekki virka að senda beiðni stöðugt aftur. Hraðatakmarkanir geta gilt yfir styttri tímabil – til dæmis 1 beiðni á sekúndu fyrir 60 RPM hámark – sem þýðir að stuttar lotur með miklu magni beiðna geta einnig leitt til villna vegna hraðatakmörkunar. Veldisvaxandi bið virkar vel með því að dreifa beiðnum til að lágmarka tíðni þessara villna.
Í Python gæti lausn með veldisvaxandi bið litið svona út:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Vinsamlegast athugið: backoff-safnið er verkfæri frá þriðja aðila. Við hvetjum alla viðskiptavini okkar til að sýna tilhlýðilega aðgát þegar þeir sannreyna ytri kóða fyrir verkefni sín.)
Ef innleiðing á veldisvaxandi bið leiðir samt til þessarar villu gætirðu þurft að hækka notkunarþrepið þitt. Þú getur séð núverandi hraðatakmarkanir þínar og hvernig þú hækkar traustþrepið þitt til að hækka hraðatakmarkanirnar í takmarkanahlutanum í reikningsstillingunum þínum.