Com funciona

Els clients poden dirigir el trànsit al mode ràpid per a cada sol·licitud mitjançant el paràmetre service_tier existent, amb l'opció service_tier = "fast".

Els segments processats pel mode ràpid es facturen per segment, a un preu superior al de les tarifes de processament estàndard.

A més de configurar-lo per a cada sol·licitud, també podeu establir el mode ràpid com a predeterminat per a un projecte a Configuració del projecte > Nivell de servei predeterminat: Ràpid. Podeu continuar anul·lant aquesta configuració per a cada sol·licitud. Seleccionar Ràpid a la configuració del projecte equival a seleccionar Prioritat.

Com interactua amb el nivell d'escalat?

El nivell d'escalat continuarà sent independent del mode ràpid. Les sol·licituds enviades al mode ràpid es facturaran per separat i no es descomptaran dels paquets de TPM del nivell d'escalat que hàgiu comprat.

Puc enviar automàticament al mode ràpid el trànsit excedent del nivell d'escalat?

No. El trànsit enviat al nivell d'escalat no es desviarà automàticament al mode ràpid.

Com es factura el mode ràpid?

Els segments processats pel mode ràpid es facturen per segment, a un preu superior al de les tarifes de processament estàndard.

El meu compromís anual està vinculat a un mode de processament concret?

No. Tots els modes de processament computen per al vostre compromís anual de despesa d'Enterprise.

Continuo tenint un descompte en els segments d'entrada emmagatzemats a la memòria cau?

Sí! Les entrades emmagatzemades a la memòria cau reben el mateix descompte del 50-75 % que amb el processament estàndard.

Com puc consultar l'ús i la despesa del mode ràpid?

Per consultar els segments processats pel mode ràpid (abans, processament prioritari), aneu al tauler Ús, seleccioneu Finalitzacions de xat o Respostes i trieu Agrupa per nivell de servei.

Per consultar el cost del mode ràpid, aneu al tauler Ús i seleccioneu Agrupa per partida.

Al tauler Ús, les sol·licituds que facin servir priority o fast com a service_tier continuaran apareixent com a priority. Això s'actualitzarà per als models futurs.

Models

El mode ràpid està disponible per a contextos llargs, models ajustats, incrustacions, etc.?

Ara com ara, no. En el futur, avaluarem si oferim el mode ràpid en altres productes més enllà dels nostres models més recents.

Com funcionen les altres modalitats amb el mode ràpid?

El mode ràpid admet les mateixes capacitats multimodals disponibles en el mode estàndard. En concret, es poden fer servir imatges com a entrades del processament prioritari i es processen amb la mateixa baixa latència.

S'admetran els models futurs?

Tenim previst oferir el mode ràpid als nous models GPT, però no garantim que sigui compatible amb tots els models.

Límits de peticions

Quins són els límits de peticions?

Pel que fa als límits de peticions, el consum del processament prioritari es tracta igual que el trànsit estàndard de l'API.

Quins són els límits de velocitat d'increment?

El mode ràpid té límits de velocitat d'increment per garantir un rendiment elevat i estable a tots els clients, alhora que ofereix preus flexibles segons la demanda. En casos excepcionals, si (a) el rendiment del mode ràpid es degrada I (b) el trànsit d'un client augmenta massa de pressa, algunes sol·licituds poden passar al processament estàndard.

El límit actual de velocitat d'increment del mode ràpid es defineix aquí, a la nostra documentació principal.

Bones pràctiques per mantenir-vos dins del límit de velocitat d'increment

Augmenteu el trànsit gradualment quan canvieu de model. Per exemple, si la vostra aplicació passa d'una instantània anterior a una de nova, feu servir un indicador de funcionalitat per transferir el trànsit al llarg d'unes hores, en lloc de fer-ho tot de cop.

Eviteu executar tasques asíncrones o de processament de grans volums de dades en el mode ràpid. Aquestes tasques poden augmentar el trànsit molt de pressa i sovint no necessiten el rendiment superior del mode ràpid.

Si arribeu habitualment als límits de velocitat d'increment, plantegeu-vos comprar quota del nivell d'escalat.

Els límits de velocitat d'increment es comparteixen entre els meus projectes o organitzacions?

Sí, tot el vostre trànsit computa per al mateix límit de velocitat d'increment.

Polítiques

Què passa si el mode ràpid no compleix l'objectiu de latència?

Si teniu cap pregunta o dubte, poseu-vos en contacte amb el vostre director de comptes. Els SLA del mode ràpid es tractaran igual que els del nivell d'escalat. Si no complim aquests SLA durant un període determinat per als clients amb contractes Enterprise, oferirem crèdits de servei.

El mode ràpid és compatible amb la ubicació de les dades?

Sí.

El mode ràpid és compatible amb ZDR i el BAA?

Sí.