Oferujemy teraz usługę Priority processing dla klientów Enterprise API, którzy chcą uzyskać szybszą i bardziej spójną wydajność w przypadku wybranych modeli. Poniżej znajdziesz odpowiedzi na najczęstsze pytania dotyczące działania usługi, cen, dostępności modeli, limitów szybkości, niezawodności, zasad i uprawnień.

Dowiedz się więcej tutaj.

Dostęp

Kto może korzystać z usługi Priority processing?

Usługa Priority processing jest obecnie dostępna dla klientów Enterprise.

Czy usługa Priority processing jest dostępna we wszystkich regionach?

Dostępność usługi Priority processing zależy od obowiązujących przepisów prawa i regulacji w danej jurysdykcji. Jeśli masz pytania dotyczące dostępności w swoim regionie, skontaktuj się ze swoim Account Director.

Cennik

Jak zacząć korzystać z usługi Priority processing?

Klienci mogą kierować ruch do usługi Priority processing dla każdego żądania osobno, używając istniejącego parametru service_tier z opcją service_tier="priority".

Jak to współdziała ze Scale Tier?

Scale Tier pozostanie oddzielny od usługi Priority processing. Żądania wysłane do usługi Priority processing będą rozliczane oddzielnie i nie będą wliczane do zakupionych pakietów TPM Scale Tier.

Czy mogę automatycznie wysyłać nadmiarowy ruch ze Scale Tier do usługi Priority processing?

Nie. Ruch wysyłany do Scale Tier nie będzie automatycznie przekierowywany do usługi Priority processing.

Jak rozliczana jest usługa Priority processing?

Tokeny obsługiwane przez usługę Priority processing będą rozliczane za token, a ich cena będzie wyższa niż stawki za Standard processing.

Czy moje roczne zobowiązanie jest powiązane z konkretnym trybem przetwarzania?

Nie. Wszystkie tryby przetwarzania są wliczane do rocznego zobowiązania wydatkowego Enterprise.

Czy nadal otrzymuję zniżkę na Cached input tokens?

Tak! Cached Inputs otrzymują tę samą zniżkę 50–75% co w Standard processing.

Jak sprawdzić użycie i wydatki związane z usługą Priority processing?

Aby sprawdzić tokeny przetworzone przez usługę Priority processing, przejdź do panelu Usage, wybierz Chat Completions lub Responses i ustaw Group by na Service Tier. Aby sprawdzić koszt usługi Priority processing, przejdź do panelu Usage i wybierz Group by Line Item.

Modele

Czy usługa Priority processing jest dostępna dla długiego kontekstu, modeli dostrajanych, embeddingów itp.?

Obecnie nie. W przyszłości ocenimy, czy oferować usługę Priority processing także dla dodatkowych produktów poza naszymi najnowszymi modelami.

Jak inne modalności działają z usługą Priority processing?

Usługa Priority processing obsługuje te same możliwości multimodalne, które są dostępne w Standard. W szczególności obrazy mogą być używane jako dane wejściowe do usługi Priority processing i są przetwarzane z takim samym krótkim opóźnieniem.

Czy przyszłe modele będą obsługiwane?

Planujemy oferować usługę Priority processing dla nowych modeli GPT, ale nie gwarantujemy, że każdy model będzie obsługiwany.

Limity szybkości

Jakie są limity szybkości?

Zużycie w usłudze Priority processing jest traktowane tak samo jak standardowy ruch API na potrzeby limitów szybkości.

Jakie są limity tempa narastania?

Usługa Priority processing ma limity tempa narastania, aby zapewnić niezmiennie wysoką wydajność wszystkim klientom, a jednocześnie oferować elastyczne ceny na żądanie. Jeśli (a) wydajność usługi Priority processing spadnie ORAZ (b) ruch klienta będzie narastał zbyt szybko, w rzadkich przypadkach niektóre żądania Priority mogą zostać zdegradowane do Standard processing.

Aktualny limit tempa narastania dla usługi Priority processing jest opisany w naszej głównej dokumentacji tutaj.

Najlepsze praktyki, aby mieścić się w limicie tempa narastania

Stopniowo zwiększaj ruch podczas zmiany modeli. Na przykład, jeśli Twoja aplikacja przechodzi z poprzedniego snapshotu na nowy, użyj flagi funkcji, aby przenosić ruch stopniowo w ciągu kilku godzin, zamiast robić to od razu.
Unikaj uruchamiania dużych zadań przetwarzania danych lub zadań asynchronicznych w usłudze Priority processing. Takie zadania mogą bardzo szybko zwiększać ruch i często nie wymagają lepszej wydajności usługi Priority processing.
Jeśli regularnie napotykasz limity tempa narastania, rozważ zamiast tego zakup limitu Scale Tier.

Czy limity tempa narastania są współdzielone między moimi projektami lub organizacjami?

Tak, cały Twój ruch wpływa na ten sam limit tempa narastania.

Zasady

Co się stanie, jeśli usługa Priority processing nie spełnia docelowego opóźnienia?

W razie pytań lub wątpliwości skontaktuj się ze swoim AD. Umowy SLA dla usługi Priority processing będą traktowane tak samo jak SLA dla Scale Tier; jeśli nie spełnimy tych SLA dla klientów objętych umowami Enterprise w danym oknie czasowym, zaoferujemy kredyty serwisowe.

Czy usługa Priority processing jest zgodna z rezydencją danych?

Tak.

Czy usługa Priority processing jest zgodna z ZDR i BAA?