Въведение в лимитите на заявките

Лимитите на заявките са ограничения, които нашият API налага върху броя пъти, в които потребител или клиент може да осъществи достъп до услугите ни в рамките на определен период от време.

Лимитите на заявките може да са квантувани, което означава, че се прилагат за по-кратки периоди от време (напр. 60 000 заявки/минута може да се прилагат като 1000 заявки/секунда). Изпращането на кратки серии от заявки или контексти (подкани+max_completion_tokens), които са твърде дълги, може да доведе до грешки за лимит на заявките, дори когато технически сте под лимита на заявките за минута.

Добри практики за предотвратяване на грешки за лимит на заявките

Организация по подразбиране

Ако принадлежите към няколко организации с различни планове за таксуване и нива на използване, уверете се, че вашата организация по подразбиране е зададена на подходящата организация, за да контролирате коя организация се използва по подразбиране при подаване на заявки с вашите API ключове.

Експоненциално изчакване

Включете логика за експоненциално изчакване в кода си. Това ще улавя неуспешните заявки и ще ги изпраща повторно.

Лимити на токените

Намалете max_completion_tokens, така че да съответства на размера на вашите завършвания. Нуждите от използване се оценяват въз основа на тази стойност, така че намаляването ѝ ще намали вероятността неочаквано да получите грешка за лимит на заявките. Например, ако подканата ви създава завършвания от около 400 токена, стойността на max_tokens трябва да е приблизително със същия размер.


Оптимизирайте подканите си. Можете да го направите, като съкратите инструкциите си, премахнете излишните думи и се освободите от ненужните примери. Може да се наложи да поработите върху подканата си и да я тествате след тези промени, за да се уверите, че все още работи добре. Допълнителното предимство на по-кратката подкана е намалената цена за вас. Ако имате нужда от помощ, уведомете ни.

Ниво на използване

Ако сте внедрили тези добри практики, но все още се сблъсквате с грешки за лимит на заявките, можете да увеличите лимитите си на заявките, като повишите нивото си на използване. Можете да видите текущите си лимити на заявките, текущото си ниво на използване и как да повишите нивото/лимитите си на използване в раздела „Лимити“ в настройките на акаунта си.

Допълнителна информация

Прегледайте нашата подробна документация за нивата на използване и лимитите на заявките тук.