Wprowadzenie do limitów zapytań

Limity zapytań to ograniczenia, które nasze API nakłada na liczbę razy, kiedy użytkownik lub klient może uzyskać dostęp do naszych usług w określonym czasie.

Limity zapytań mogą być kwantyzowane, co oznacza, że są wymuszane w krótszych przedziałach czasu (np. 60 000 żądań/minutę może być wymuszane jako 1000 żądań/sekundę). Wysyłanie krótkich serii żądań lub zbyt długich kontekstów (polecenia+max_completion_tokens) może prowadzić do błędów limitu zapytań, nawet jeśli technicznie mieścisz się poniżej limitu zapytań na minutę.

Sprawdzone metody zapobiegania błędom limitu zapytań

Domyślna organizacja

Jeśli należysz do wielu organizacji z różnymi planami rozliczeniowymi i poziomami użycia, upewnij się, że domyślna organizacja jest ustawiona na odpowiednią organizację, aby kontrolować, która organizacja jest domyślnie używana podczas wysyłania żądań przy użyciu kluczy API.

Ponawianie z wykładniczym opóźnieniem

Dodaj do kodu logikę ponawiania z wykładniczym opóźnieniem. Pozwoli to przechwytywać nieudane żądania i ponawiać je.

Limity tokenów

Zmniejsz wartość max_completion_tokens, aby odpowiadała rozmiarowi uzupełnień. Zapotrzebowanie na użycie jest szacowane na podstawie tej wartości, więc jej zmniejszenie obniży ryzyko nieoczekiwanego błędu limitu zapytań. Na przykład jeśli Twoje polecenie generuje uzupełnienia o długości około 400 tokenów, wartość max_tokens powinna być zbliżona do tej liczby.


Zoptymalizuj swoje polecenia. Możesz to zrobić, skracając instrukcje, usuwając zbędne słowa i pozbywając się dodatkowych przykładów. Po tych zmianach może być konieczne dopracowanie polecenia i przetestowanie go, aby upewnić się, że nadal działa dobrze. Dodatkową korzyścią krótszego polecenia są niższe koszty. Jeśli potrzebujesz pomocy, daj nam znać.

Poziom użycia

Jeśli wdrożyłeś te sprawdzone metody, ale nadal napotykasz błędy limitu zapytań, możesz zwiększyć swoje limity zapytań, podnosząc poziom użycia. Bieżące limity zapytań, aktualny poziom użycia oraz informacje o tym, jak podnieść poziom użycia lub limity, możesz sprawdzić w sekcji Limity w ustawieniach konta.

Więcej informacji

Zapoznaj się z naszą obszerną dokumentacją dotyczącą poziomów użycia i limitów zapytań tutaj.