Сұраныс шектеуі қателері ('Too Many Requests', ‘Rate limit reached’) ұйымыңыздың минутына жіберуге болатын сұраныстар мен токендердің ең көп саны болып табылатын сұраныс шектеуіне жетуінен туындайды. Егер шектеуге жетсеңіз, сұраныс шектеуі қайта орнатылғанға дейін ұйым сұраныстарды сәтті жібере алмайды. Қате туралы хабарлама былай көрінеді:
gpt-3.5-turbo үшін org-exampleorgid123 ұйымында минутына токендер бойынша rate limit шегіне жетті.
Шек: 10000.000000 / мин. Ағымдағысы: 10020.000000 / мин. Бұл қателерді экспоненциалды кідіріс арқылы өңдеуді ұсынамыз. Экспоненциалды кідіріс дегеніміз — сұраныс шектеуі қатесі шыққанда қысқа уақыт күтіп, сәтсіз сұранысты қайта жіберу. Егер сұраныс әлі де сәтсіз болса, күту уақыты ұзартылады және процесс қайталанады. Бұл сұраныс сәтті орындалғанға дейін немесе қайталау әрекеттерінің ең көп санына жеткенге дейін жалғасады.
Сәтсіз сұраныстар минуттық шектеуіңізге қосылатындықтан, сұранысты үздіксіз қайта жіберу нәтиже бермейді. Сұраныс шектеулері қысқа кезеңдерге де қолданылуы мүмкін — мысалы, 60 RPM шектеуі үшін секундына 1 сұраныс — яғни қысқа уақыттағы көп көлемді сұраныс легі де сұраныс шектеуі қателеріне әкелуі мүмкін. Экспоненциалды кідіріс сұраныстардың аралығын ұлғайтып, осы қателердің жиілігін азайту арқылы жақсы жұмыс істейді.
Python тілінде экспоненциалды кідіріс шешімі былай көрінуі мүмкін:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ескеріңіз: backoff кітапханасы — үшінші тарап құралы. Жобаларыңыз үшін кез келген сыртқы кодты тексергенде, барлық тұтынушыларымызды тиісті мұқият тексеру жүргізуге шақырамыз.)
Экспоненциалды кідірісті енгізгеннен кейін де бұл қате қайталанса, пайдалану деңгейіңізді арттыру қажет болуы мүмкін. Ағымдағы сұраныс шектеулеріңізді және оларды арттыру үшін сенім деңгейіңізді қалай көтеруге болатынын аккаунт параметрлеріндегі шектеулер бөлімінен көре аласыз.