Jak to działa

Klienci mogą kierować ruch do Trybu szybkiego osobno dla każdego żądania, używając istniejącego parametru service_tier z opcją service_tier = "fast".

Tokeny obsługiwane w Trybie szybkim są rozliczane za każdy token według stawek wyższych niż za przetwarzanie standardowe.

Oprócz konfiguracji na poziomie żądania możesz też ustawić Tryb szybki jako domyślny dla projektu w sekcji Ustawienia projektu > Domyślny poziom planu: Szybki. Nadal możesz zmienić to ustawienie dla poszczególnych żądań. Wybranie opcji Szybki w ustawieniach projektu jest równoznaczne z wybraniem opcji Priorytetowy.

Jak Tryb szybki współdziała z ofertą Skalowaną?

Oferta Skalowana pozostanie oddzielna od Trybu szybkiego. Żądania wysyłane do Trybu szybkiego będą rozliczane oddzielnie i nie będą pomniejszać zakupionych pakietów TPM w ofercie Skalowanej.

Czy nadmiarowy ruch z oferty Skalowanej może być automatycznie kierowany do Trybu szybkiego?

Nie. Nadmiarowy ruch kierowany do oferty Skalowanej nie będzie automatycznie przekazywany do Trybu szybkiego.

Jak rozliczany jest Tryb szybki?

Tokeny obsługiwane w Trybie szybkim są rozliczane za każdy token według stawek wyższych niż za przetwarzanie standardowe.

Czy moje roczne zobowiązanie jest powiązane z konkretnym trybem przetwarzania?

Nie. Wydatki we wszystkich trybach przetwarzania są zaliczane na poczet rocznego zobowiązania w planie Enterprise.

Czy nadal otrzymuję zniżkę na buforowane tokeny wejściowe?

Tak! Buforowane dane wejściowe są objęte taką samą zniżką w wysokości 50–75% jak w przypadku przetwarzania standardowego.

Jak sprawdzić wykorzystanie Trybu szybkiego i związane z nim wydatki?

Aby sprawdzić tokeny przetworzone w Trybie szybkim (wcześniej nazywanym przetwarzaniem priorytetowym), otwórz panel Wykorzystanie, wybierz Chat Completions lub Responses, a następnie opcję Grupuj według poziomu planu.

Aby sprawdzić koszt Trybu szybkiego, otwórz panel Wykorzystanie i wybierz opcję Grupuj według pozycji.

W panelu Wykorzystanie żądania z wartością priority lub fast parametru service_tier będą nadal wyświetlane jako priority. Zostanie to zmienione w przypadku przyszłych modeli.

Modele

Czy Tryb szybki jest dostępny dla długiego kontekstu, modeli dostrojonych, osadzeń itp.?

Obecnie nie. W przyszłości ocenimy możliwość udostępnienia Trybu szybkiego w dodatkowych produktach poza naszymi najnowszymi modelami.

Jak inne modalności działają w Trybie szybkim?

Tryb szybki obsługuje te same funkcje multimodalne co przetwarzanie standardowe. W szczególności obrazy mogą służyć jako dane wejściowe w przetwarzaniu priorytetowym i są przetwarzane z takim samym krótkim czasem odpowiedzi.

Czy przyszłe modele będą obsługiwane?

Planujemy udostępniać Tryb szybki w nowych modelach GPT, ale nie gwarantujemy obsługi każdego modelu.

Limity zapytań

Jakie są limity zapytań?

Na potrzeby limitów zapytań wykorzystanie przetwarzania priorytetowego jest traktowane tak samo jak standardowy ruch API.

Jakie są limity tempa wzrostu ruchu?

Tryb szybki ma limity tempa wzrostu ruchu, które zapewniają wszystkim klientom niezmiennie wysoką wydajność, a jednocześnie pozwalają korzystać z elastycznych rozliczeń na żądanie. Jeśli (a) wydajność Trybu szybkiego spadnie ORAZ (b) ruch klienta będzie wzrastać zbyt szybko, w rzadkich przypadkach niektóre żądania mogą zostać obsłużone w ramach przetwarzania standardowego.

Aktualny limit tempa wzrostu ruchu w Trybie szybkim określono tutaj, w naszej głównej dokumentacji.

Sprawdzone metody utrzymywania się w limicie tempa wzrostu ruchu

Przy zmianie modeli zwiększaj ruch stopniowo. Jeśli na przykład aplikacja przechodzi z poprzedniej migawki na nową, użyj flagi funkcji, aby przekierowywać ruch stopniowo przez kilka godzin, zamiast robić to jednocześnie.

Nie uruchamiaj w Trybie szybkim dużych zadań przetwarzania danych ani zadań asynchronicznych. Takie zadania mogą bardzo szybko zwiększyć ruch, a często nie wymagają wyższej wydajności Trybu szybkiego.

Jeśli regularnie napotykasz limity tempa wzrostu ruchu, rozważ zakup limitu w ofercie Skalowanej.

Czy limity tempa wzrostu ruchu są wspólne dla wszystkich moich projektów lub organizacji?

Tak, cały Twój ruch wlicza się do tego samego limitu tempa wzrostu.

Zasady

Co się stanie, jeśli Tryb szybki nie osiągnie docelowego czasu odpowiedzi?

W razie pytań lub wątpliwości skontaktuj się ze swoim dyrektorem ds. klienta. Umowy SLA Trybu szybkiego będą traktowane tak samo jak umowy SLA oferty Skalowanej. Jeśli w danym okresie nie spełnimy tych warunków wobec klientów z umowami Enterprise, zaoferujemy im rekompensatę za usługę.

Czy Tryb szybki jest zgodny z wymogami rezydencji danych?

Tak.

Czy Tryb szybki jest zgodny z ZDR i BAA?

Tak.