Inngangur að hraðatakmörkunum
Hraðatakmarkanir eru takmarkanir sem API-ið okkar setur á hversu oft notandi eða biðlari getur fengið aðgang að þjónustu okkar á tilteknu tímabili.
Hraðatakmarkanir geta verið skammtaðar, sem þýðir að þeim er framfylgt yfir styttri tímabil (t.d. má framfylgja 60.000 beiðnum/mínútu sem 1.000 beiðnum/sekúndu). Ef sendar eru stuttar hrinur beiðna eða of löng samhengi (kvaðningar+max_completion_tokens) getur það valdið villum vegna hraðatakmörkunar, jafnvel þótt þú sért tæknilega undir hraðatakmörkun á mínútu.
Bestu venjur til að koma í veg fyrir villur vegna hraðatakmörkunar
Sjálfgefin stofnun
Ef þú tilheyrir mörgum stofnunum með mismunandi greiðsluáætlanir og notkunarþrep skaltu ganga úr skugga um að sjálfgefna stofnunin þín sé stillt á rétta stofnun til að stjórna hvaða stofnun er notuð sjálfgefið þegar beiðnir eru sendar með API-lyklunum þínum.
Veldisvaxandi bið
Settu rökvísi fyrir veldisvaxandi bið inn í kóðann þinn. Þetta fangar misheppnaðar beiðnir og reynir þær aftur.
Takmörk á tókum
Lækkaðu max_completion_tokens svo það passi við stærð svaranna þinna. Notkunarþörf er áætluð út frá þessu gildi, þannig að lækkun þess minnkar líkurnar á að þú fáir óvænt villu vegna hraðatakmörkunar. Til dæmis, ef kvaðningin þín býr til svör upp á um 400 tóka ætti max_tokens gildið að vera um það bil af sömu stærð.
Fínstilltu kvaðningarnar þínar. Þú getur gert þetta með því að stytta leiðbeiningarnar, fjarlægja aukaleg orð og losa þig við aukadæmi. Þú gætir þurft að vinna áfram með kvaðninguna þína og prófa hana eftir þessar breytingar til að tryggja að hún virki enn vel. Viðbótarávinningurinn af styttri kvaðningu er minni kostnaður fyrir þig. Láttu okkur vita ef þú þarft aðstoð.
Notkunarþrep
Ef þú hefur innleitt þessar bestu venjur en færð enn villur vegna hraðatakmörkunar geturðu hækkað hraðatakmarkanirnar þínar með því að hækka notkunarþrepið þitt. Þú getur séð núverandi hraðatakmarkanir, núverandi notkunarþrep og hvernig á að hækka notkunarþrep/takmörk í hlutanum Takmörk í reikningsstillingunum þínum.
Frekari lesning
Skoðaðu ítarleg skjöl okkar um notkunarþrep og hraðatakmarkanir hér.