Įvadas į užklausų dažnio ribojimus
Užklausų dažnio ribojimai yra apribojimai, kuriuos mūsų API taiko kartų skaičiui, kiek naudotojas arba klientas gali pasiekti mūsų paslaugas per nurodytą laikotarpį.
Užklausų dažnio ribojimai gali būti kvantuojami, t. y. taikomi trumpesniais laikotarpiais (pvz., 60 000 užklausų per minutę gali būti taikoma kaip 1 000 užklausų per sekundę). Trumpi užklausų ar per ilgų kontekstų (užklausos + max_completion_tokens) pliūpsniai gali sukelti užklausų dažnio ribojimo klaidų, net jei techniškai neviršijate minutės užklausų dažnio ribos.
Geriausios praktikos, padedančios išvengti užklausų dažnio ribojimo klaidų
Numatytoji organizacija
Jei priklausote kelioms organizacijoms su skirtingais atsiskaitymo planais ir naudojimo pakopomis, įsitikinkite, kad jūsų numatytoji organizacija nustatyta į tinkamą organizaciją, kad galėtumėte valdyti, kuri organizacija pagal numatytuosius nustatymus naudojama teikiant užklausas su jūsų API raktais.
Eksponentinis atidėjimas
Įtraukite eksponentinio atidėjimo logiką į savo kodą. Taip bus aptiktos nepavykusios užklausos ir jos bus bandomos iš naujo.
Žetonų ribos
Sumažinkite max_completion_tokens reikšmę, kad ji atitiktų jūsų užbaigimų dydį. Naudojimo poreikiai įvertinami pagal šią reikšmę, todėl ją sumažinus sumažės tikimybė netikėtai gauti užklausų dažnio ribojimo klaidą. Pavyzdžiui, jei jūsų užklausa sukuria apie 400 žetonų ilgio užbaigimus, max_tokens reikšmė turėtų būti panašaus dydžio.
Optimizuokite savo užklausas. Tai galite padaryti sutrumpindami instrukcijas, pašalindami perteklinius žodžius ir atsisakydami papildomų pavyzdžių. Po šių pakeitimų gali tekti padirbėti su užklausa ir ją išbandyti, kad įsitikintumėte, jog ji vis dar veikia gerai. Papildoma trumpesnės užklausos nauda – mažesnės jūsų išlaidos. Jei reikia pagalbos, praneškite mums.
Naudojimo pakopa
Jei įdiegėte šias geriausias praktikas, bet vis dar susiduriate su užklausų dažnio ribojimo klaidomis, galite padidinti savo užklausų dažnio ribas padidindami naudojimo pakopą. Dabartines užklausų dažnio ribas, dabartinę naudojimo pakopą ir informaciją, kaip padidinti naudojimo pakopą / ribas, galite peržiūrėti paskyros nustatymų skiltyje „Ribos“.
Daugiau informacijos
Peržiūrėkite mūsų išsamią dokumentaciją apie naudojimo pakopas ir užklausų dažnio ribojimus čia.