Fonctionnement

Les clients peuvent acheminer le trafic vers le Mode rapide pour chaque requête au moyen du paramètre service_tier existant, avec l’option service_tier = "fast".

Les tokens traités par le Mode rapide seront facturés par token, à un tarif supérieur à celui du traitement standard.

En plus de le configurer au niveau de la requête, vous pouvez aussi définir le Mode rapide par défaut pour un projet dans Paramètres du projet > Offre par défaut : Rapide. Vous pouvez toujours remplacer ce réglage pour chaque requête. Sélectionner Rapide dans les paramètres de votre projet équivaut à sélectionner Prioritaire.

Comment cela fonctionne-t-il avec l’offre Scale?

L’offre Scale demeurera distincte du Mode rapide. Les requêtes envoyées au Mode rapide seront facturées séparément et ne seront pas déduites de vos forfaits de TPM achetés dans le cadre de l’offre Scale.

Puis-je envoyer automatiquement vers le Mode rapide le trafic qui dépasse la capacité de mon offre Scale?

Non. Le trafic envoyé à l’offre Scale ne sera pas automatiquement réacheminé vers le Mode rapide en cas de dépassement.

Comment le Mode rapide est-il facturé?

Les tokens traités par le Mode rapide seront facturés par token, à un tarif supérieur à celui du traitement standard.

Mon engagement annuel est-il lié à un mode de traitement précis?

Non. Tous les modes de traitement sont pris en compte dans votre engagement annuel de dépenses Enterprise.

Ai-je toujours droit à une réduction sur les tokens d’entrée mis en cache?

Oui! Les entrées mises en cache bénéficient de la même réduction de 50 à 75 % qu’avec le traitement standard.

Comment puis-je consulter mon utilisation du Mode rapide et les dépenses connexes?

Pour voir les tokens traités par le Mode rapide (anciennement le traitement prioritaire), accédez au tableau de bord Utilisation, sélectionnez Complétions de Chat ou Réponses, puis Grouper par offre.

Pour consulter le coût du Mode rapide, accédez au tableau de bord Utilisation, puis sélectionnez Grouper par poste.

Dans le tableau de bord Utilisation, les requêtes qui utilisent priority ou fast comme valeur de service_tier continueront de s’afficher comme priority. Ce point sera mis à jour pour les futurs modèles.

Modèles

Le Mode rapide est-il offert pour les contextes longs, les modèles affinés, les plongements, etc.?

Pas pour le moment. Nous évaluerons ultérieurement la possibilité d’offrir le Mode rapide pour d’autres produits que nos plus récents modèles.

Comment les autres modalités fonctionnent-elles avec le Mode rapide?

Le Mode rapide prend en charge les mêmes capacités multimodales que le traitement standard. En particulier, les images peuvent servir d’entrées pour le traitement prioritaire et sont traitées avec la même faible latence.

Les futurs modèles seront-ils pris en charge?

Nous prévoyons offrir le Mode rapide sur les nouveaux modèles GPT, mais nous ne garantissons pas que chaque modèle sera pris en charge.

Limites de débit

Quelles sont les limites de débit?

La consommation liée au traitement prioritaire est traitée de la même façon que le trafic API standard aux fins des limites de débit.

Quelles sont les limites de vitesse de montée en charge?

Le Mode rapide comporte des limites de vitesse de montée en charge afin d’assurer des performances élevées et constantes à tous les clients, tout en maintenant une tarification flexible à la demande. Si (a) les performances du Mode rapide sont dégradées ET (b) le trafic d’un client augmente trop rapidement, certaines requêtes pourraient, dans de rares cas, passer au traitement standard.

La limite actuelle de vitesse de montée en charge du Mode rapide est définie ici, dans notre documentation principale.

Pratiques exemplaires pour respecter votre limite de vitesse de montée en charge

Augmentez progressivement le trafic lorsque vous changez de modèle. Par exemple, si votre application passe d’un instantané précédent à un nouveau, utilisez un indicateur de fonctionnalité pour transférer le trafic sur quelques heures plutôt que d’un seul coup.

Évitez d’exécuter de gros travaux de traitement de données ou des tâches asynchrones en Mode rapide. Ces tâches peuvent faire augmenter le trafic très rapidement et n’ont souvent pas besoin des performances accrues du Mode rapide.

Si vous atteignez régulièrement les limites de vitesse de montée en charge, envisagez plutôt d’acheter un quota de l’offre Scale.

Les limites de vitesse de montée en charge sont-elles partagées entre mes projets ou mes organisations?

Oui, l’ensemble de votre trafic est pris en compte dans la même limite de vitesse de montée en charge.

Politiques

Que se passe-t-il si le Mode rapide n’atteint pas la cible de latence?

Veuillez communiquer avec votre directeur de compte pour toute question ou préoccupation. Les accords de niveau de service du Mode rapide seront traités de la même façon que ceux de l’offre Scale; des crédits de service seront offerts si nous ne les respectons pas pendant une période donnée pour les clients ayant une entente Enterprise.

Le Mode rapide est-il compatible avec la résidence des données?

Oui.

Le Mode rapide est-il compatible avec ZDR et le BAA?

Oui.