Błędy limitu zapytań ('Za dużo żądań', „Osiągnięto limit zapytań”) są spowodowane osiągnięciem limitu zapytań Twojej organizacji, czyli maksymalnej liczby żądań i tokenów, które można przesłać w ciągu minuty. Jeśli limit zostanie osiągnięty, organizacja nie będzie mogła skutecznie wysyłać żądań, dopóki limit zapytań nie zostanie zresetowany. Komunikat o błędzie wygląda tak:
Osiągnięto limit szybkości dla gpt-3.5-turbo w organizacji org-exampleorgid123 dla tokenów na minutę.
Limit: 10000.000000 / min. Bieżące: 10020.000000 / min. Zalecamy obsługę tych błędów za pomocą wykładniczego wycofywania. Wykładnicze wycofywanie oznacza krótki czas oczekiwania po wystąpieniu błędu limitu zapytań, a następnie ponowienie nieudanego żądania. Jeśli żądanie nadal się nie powiedzie, czas oczekiwania jest wydłużany i proces się powtarza. Trwa to do momentu, aż żądanie zakończy się powodzeniem albo zostanie osiągnięta maksymalna liczba ponowień.
Ponieważ nieudane żądania wliczają się do limitu na minutę, ciągłe ponawianie żądania nie zadziała. Limity zapytań mogą być stosowane w krótszych okresach — na przykład 1 żądanie na sekundę przy limicie 60 RPM — co oznacza, że krótkie skoki dużej liczby żądań także mogą prowadzić do błędów limitu zapytań. Wykładnicze wycofywanie działa dobrze, ponieważ rozkłada żądania w czasie, aby zminimalizować częstotliwość tych błędów.
W Pythonie rozwiązanie z wykładniczym wycofywaniem może wyglądać tak:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Uwaga: biblioteka backoff jest narzędziem zewnętrznym. Zachęcamy wszystkich naszych klientów do zachowania należytej staranności przy weryfikacji wszelkiego zewnętrznego kodu do swoich projektów.)
Jeśli wdrożenie wykładniczego wycofywania nadal skutkuje tym błędem, może być konieczne zwiększenie poziomu użycia. Bieżące limity zapytań oraz informacje o tym, jak zwiększyć poziom zaufania, aby podnieść limity zapytań, znajdziesz w sekcji limitów w ustawieniach konta.