Oferim acum procesarea Priority pentru clienții Enterprise API care doresc acces la performanțe mai rapide și mai constante pe anumite modele. Mai jos găsiți răspunsuri la întrebări frecvente despre cum funcționează, prețuri, disponibilitatea modelelor, limite de rată, fiabilitate, politici și eligibilitate.

Aflați mai multe aici.

Acces

Cine poate accesa procesarea Priority?

Procesarea Priority este disponibilă în prezent pentru clienții Enterprise.

Este procesarea Priority disponibilă în toate regiunile?

Disponibilitatea procesării Priority depinde de legile și reglementările aplicabile în fiecare jurisdicție. Contactați directorul dvs. de cont dacă aveți întrebări despre disponibilitatea în regiunea dvs.

Prețuri

Cum încep să folosesc procesarea Priority?

Clienții pot direcționa traficul către procesarea Priority pentru fiecare solicitare folosind parametrul existent service_tier, cu opțiunea service_tier="priority".

Cum interacționează aceasta cu Nivelul de scalare?

Nivelul de scalare va rămâne separat de procesarea Priority. Solicitările trimise către procesarea Priority vor fi facturate separat și nu vor fi luate în calcul pentru pachetele TPM de Nivel de scalare achiziționate.

Pot trimite automat traficul excedentar din Nivelul de scalare către procesarea Priority?

Nu. Traficul trimis către Nivelul de scalare nu va trece automat ca excedent către procesarea Priority.

Cum este facturată procesarea Priority?

Tokenurile deservite de procesarea Priority vor fi facturate per token, la un preț premium față de tarifele procesării Standard.

Angajamentul meu anual este legat de un anumit mod de procesare?

Nu. Toate modurile de procesare se iau în calcul pentru angajamentul dvs. anual de cheltuieli Enterprise.

Mai primesc o reducere pentru tokenurile de intrare memorate în cache?

Da! Intrările memorate în cache beneficiază de aceeași reducere de 50-75% ca în procesarea Standard.

Cum îmi pot vedea utilizarea și cheltuielile pentru procesarea Priority?

Pentru a vedea tokenurile procesate prin procesarea Priority, accesați tabloul de bord Usage, selectați Chat Completions sau Responses și Group by Service Tier. Pentru a vedea costul procesării Priority, accesați tabloul de bord Usage și selectați Group by Line Item.

Modele

Este procesarea Priority disponibilă pentru context lung, modele ajustate fin, embeddings etc.?

Nu în acest moment. Vom evalua în viitor dacă vom oferi procesarea Priority pentru produse suplimentare, dincolo de cele mai recente modele ale noastre.

Cum funcționează celelalte modalități cu procesarea Priority?

Procesarea Priority acceptă aceleași capabilități multimodale disponibile pe Standard. În special, imaginile pot fi utilizate ca intrări pentru procesarea Priority și sunt procesate cu aceeași latență rapidă.

Vor fi acceptate modelele viitoare?

Plănuim să oferim procesarea Priority pentru noile modele GPT, dar nu garantăm că fiecare model va fi acceptat.

Limite de rată

Care sunt limitele de rată?

Consumul prin procesarea Priority este tratat la fel ca traficul API standard în ceea ce privește limitele de rată.

Care sunt limitele de rată de creștere?

Procesarea Priority are limite de rată de creștere pentru a asigura performanțe ridicate constante pentru toți clienții, oferind în continuare prețuri flexibile, la cerere. Dacă (a) performanța procesării Priority este degradată ȘI (b) traficul unui client crește prea rapid, atunci, în cazuri rare, unele solicitări Priority pot fi retrogradate la procesarea Standard.

Limita actuală de rată de creștere pentru procesarea Priority este definită în documentația noastră principală aici.

Cele mai bune practici pentru a rămâne în limita de rată de creștere

• Creșteți treptat traficul atunci când schimbați modelele. De exemplu, dacă aplicația dvs. trece de la un instantaneu anterior la unul nou, utilizați un indicator de funcționalitate pentru a transfera traficul pe parcursul câtorva ore, nu dintr-odată.

• Evitați rularea unor lucrări mari de procesare a datelor sau a unor lucrări asincrone pe procesarea Priority. Aceste lucrări pot crește traficul foarte rapid și, adesea, nu au nevoie de performanța îmbunătățită a procesării Priority.

• Dacă întâlniți frecvent limite de rată de creștere, luați în considerare achiziționarea unei cote de Nivel de scalare.

Limitele de rată de creștere sunt partajate între proiectele sau organizațiile mele?

Da, tot traficul dvs. contribuie la aceeași limită de rată de creștere.

Politici

Ce se întâmplă dacă procesarea Priority nu atinge obiectivul de latență?

Contactați AD-ul dvs. pentru orice întrebări sau nelămuriri. SLA-urile pentru procesarea Priority vor fi tratate la fel ca SLA-urile pentru Nivelul de scalare; se vor oferi credite de serviciu dacă nu reușim să îndeplinim acele SLA-uri pentru clienții cu acorduri Enterprise într-o anumită fereastră de timp.

Este procesarea Priority compatibilă cu rezidența datelor?

Da.

Este procesarea Priority compatibilă cu ZDR și BAA?

Da.