Сұраныс шектеулеріне кіріспе

Сұраныс шектеулері — біздің API пайдаланушының немесе клиенттің белгілі бір уақыт аралығында қызметтерімізге қанша рет қол жеткізе алатынына қоятын шектеулер.

Сұраныс шектеулері квантталуы мүмкін, яғни олар қысқарақ уақыт аралықтарында қолданылады (мысалы, минутына 60 000 сұраныс секундына 1 000 сұраныс ретінде қолданылуы мүмкін). Тым ұзақ қысқа сұраныс топтамаларын немесе контекстерді (көмексөздер+max_completion_tokens) жіберу, минуттық сұраныс шектеуінен техникалық тұрғыда төмен болсаңыз да, сұраныс шектеуі қателеріне әкелуі мүмкін.

Сұраныс шектеуі қателерінің алдын алуға арналған үздік тәжірибелер

Әдепкі ұйым

Егер әртүрлі төлем жоспарлары мен пайдалану деңгейлері бар бірнеше ұйымға кірсеңіз, API кілттерімен сұраныс жасағанда әдепкі бойынша қай ұйым қолданылатынын бақылау үшін әдепкі ұйымыңыз тиісті ұйымға орнатылғанына көз жеткізіңіз.

Экспоненциалды кідіріс

Кодыңызға экспоненциалды кідіріс логикасын қосыңыз. Бұл сәтсіз сұраныстарды ұстап, қайта жіберуге мүмкіндік береді.

Токен шектеулері

max_completion_tokens мәнін нәтижелеріңіздің өлшеміне сәйкестендіріп азайтыңыз. Пайдалану қажеттілігі осы мән бойынша бағаланады, сондықтан оны азайту күтпеген жерден сұраныс шектеуі қатесін алу ықтималдығын төмендетеді. Мысалы, көмексөзіңіз шамамен 400 токендік нәтижелер жасаса, max_tokens мәні де шамамен сондай өлшемде болуы керек.


Көмексөздеріңізді оңтайландырыңыз. Мұны нұсқауларыңызды қысқарту, артық сөздерді алып тастау және артық мысалдарды жою арқылы істей аласыз. Осы өзгерістерден кейін оның әлі де жақсы жұмыс істейтініне көз жеткізу үшін көмексөзіңізді өңдеп, сынауыңыз қажет болуы мүмкін. Қысқарақ көмексөздің қосымша пайдасы — сіздің шығыныңыз азаяды. Көмек қажет болса, бізге хабарлаңыз.

Пайдалану деңгейі

Егер осы үздік тәжірибелерді енгізсеңіз де, сұраныс шектеуі қателері әлі кездессе, пайдалану деңгейіңізді арттыру арқылы сұраныс шектеулерін көбейте аласыз. Ағымдағы сұраныс шектеулерін, ағымдағы пайдалану деңгейіңізді және пайдалану деңгейін/шектеулерін қалай арттыруға болатынын есептік жазба параметрлеріндегі Шектеулер бөлімінен көре аласыз.

Қосымша материалдар

Пайдалану деңгейлері мен сұраныс шектеулері туралы толық құжаттамамызды осы жерден қараңыз.