Ara oferim processament prioritari per als clients de l'API Enterprise que volen accedir a un rendiment més ràpid i més constant en determinats models. A continuació trobaràs respostes a preguntes habituals sobre com funciona, els preus, la disponibilitat de models, els límits de peticions, la fiabilitat, les polítiques i l'elegibilitat.
Més informació aquí.
Accés
Qui pot accedir al processament prioritari?
Actualment, el processament prioritari està disponible per als clients d'Enterprise.
El processament prioritari està disponible a totes les regions?
La disponibilitat del processament prioritari depèn de les lleis i normatives aplicables a cada jurisdicció. Contacta amb el teu director de compte si tens preguntes sobre la disponibilitat a la teva regió.
Preus
Com puc començar a utilitzar el processament prioritari?
Els clients poden dirigir trànsit al processament prioritari per cada sol·licitud mitjançant el paràmetre existent service_tier, amb l'opció service_tier="priority".
Com interactua això amb el nivell d'escalat?
El nivell d'escalat continuarà sent independent del processament prioritari. Les sol·licituds enviades al processament prioritari es facturaran per separat i no comptaran per als teus paquets TPM del nivell d'escalat comprats.
Puc enviar automàticament el trànsit excedent del meu nivell d'escalat al processament prioritari?
No. El trànsit enviat al nivell d'escalat no es derivarà automàticament al processament prioritari.
Com es factura el processament prioritari?
Els segments servits pel processament prioritari es facturaran per segment, amb un preu superior en relació amb les tarifes del processament estàndard.
El meu compromís anual està vinculat a un mode de processament específic?
No. Tots els modes de processament compten per al teu compromís de despesa anual d'Enterprise.
Continuo obtenint un descompte en els segments d'entrada emmagatzemats en memòria cau?
Sí! Les entrades emmagatzemades en memòria cau reben el mateix descompte del 50-75% que tenen en el processament estàndard.
Com puc veure l'ús i la despesa del processament prioritari?
Per veure els segments processats pel processament prioritari, ves al tauler d'ús, selecciona Finalitzacions de xat o Respostes i agrupa per nivell de servei. Per veure el cost del processament prioritari, ves al tauler d'ús i selecciona Agrupa per element de línia.
Models
El processament prioritari està disponible per a contextos llargs, models ajustats, incrustacions, etc.?
Ara per ara, no. En el futur avaluarem si oferim processament prioritari en productes addicionals més enllà dels nostres models més recents.
Com funcionen les altres modalitats amb el processament prioritari?
El processament prioritari admet les mateixes capacitats multimodals disponibles a Standard. En particular, les imatges es poden utilitzar com a entrades per al processament prioritari i es processen amb la mateixa latència ràpida.
S'admetran models futurs?
Tenim previst oferir processament prioritari en nous models GPT, però no garantim que tots els models siguin compatibles.
Límits de peticions
Quins són els límits de peticions?
El consum del processament prioritari es tracta igual que el trànsit estàndard de l'API pel que fa als límits de peticions.
Quins són els límits de peticions d'augment progressiu?
El processament prioritari té límits de peticions d'augment progressiu per garantir un rendiment alt i constant per a tots els clients, alhora que ofereix preus flexibles i sota demanda. Si (a) el rendiment del processament prioritari es degrada I (b) el trànsit d'un client augmenta massa ràpidament, en casos poc freqüents algunes sol·licituds prioritàries es poden rebaixar al processament estàndard.
El límit de peticions d'augment progressiu actual del processament prioritari es defineix a la nostra documentació principal aquí.
Pràctiques recomanades per mantenir-te dins del teu límit de peticions d'augment progressiu
Augmenta gradualment el trànsit quan canviïs de model. Per exemple, si la teva aplicació està passant d'una instantània anterior a una de nova, fes servir una marca de funció per fer la transició del trànsit al llarg d'unes hores en lloc de fer-ho tot de cop.
Evita executar tasques grans de processament de dades o tasques asíncrones amb processament prioritari. Aquestes tasques poden augmentar el trànsit molt ràpidament i sovint no necessiten el rendiment millorat del processament prioritari.
Si et trobes habitualment amb límits de peticions d'augment progressiu, considera comprar quota del nivell d'escalat.
Els límits de peticions d'augment progressiu es comparteixen entre els meus projectes o organitzacions?
Sí, tot el teu trànsit contribueix al mateix límit de peticions d'augment progressiu.
Polítiques
Què passa si el processament prioritari no compleix l'objectiu de latència?
Contacta amb el teu AD si tens qualsevol pregunta o dubte. Els SLA del processament prioritari es tractaran igual que els SLA del nivell d'escalat; s'oferiran crèdits de servei si no complim aquests SLA per als clients amb acords Enterprise durant una finestra temporal determinada.
El processament prioritari és compatible amb la ubicació de les dades?
Sí.
El processament prioritari és compatible amb ZDR i el BAA?
Sí.