Nous proposons désormais le traitement prioritaire aux clients API Enterprise qui souhaitent bénéficier de performances plus rapides et plus constantes sur certains modèles. Vous trouverez ci-dessous des réponses aux questions fréquentes sur son fonctionnement, les tarifs, la disponibilité des modèles, les limites de débit, la fiabilité, les politiques et l’éligibilité.
En savoir plus ici.
Accès
Qui peut accéder au traitement prioritaire ?
Le traitement prioritaire est actuellement disponible pour les clients Enterprise.
Le traitement prioritaire est-il disponible dans toutes les régions ?
La disponibilité du traitement prioritaire dépend des lois et réglementations applicables dans chaque juridiction. Veuillez contacter votre responsable de compte si vous avez des questions sur la disponibilité dans votre région.
Tarifs
Comment commencer à utiliser le traitement prioritaire ?
Les clients peuvent diriger le trafic vers le traitement prioritaire requête par requête à l’aide du paramètre existant service_tier, avec l’option service_tier="priority".
Comment cela interagit-il avec l’offre Scale ?
L’offre Scale restera distincte du traitement prioritaire. Les requêtes envoyées au traitement prioritaire seront facturées séparément et ne seront pas décomptées de vos forfaits TPM de l’offre Scale achetés.
Puis-je envoyer automatiquement mon trafic excédentaire de l’offre Scale vers le traitement prioritaire ?
Non. Le trafic envoyé vers l’offre Scale ne débordera pas automatiquement vers le traitement prioritaire.
Comment le traitement prioritaire est-il facturé ?
Les tokens servis par le traitement prioritaire seront facturés au token, avec un prix majoré par rapport aux tarifs du traitement Standard.
Mon engagement annuel est-il lié à un mode de traitement spécifique ?
Non. Tous les modes de traitement sont comptabilisés dans votre engagement annuel de dépenses Enterprise.
Bénéficiai-je toujours d’une remise sur les tokens d’entrée mis en cache ?
Oui ! Les entrées mises en cache bénéficient de la même remise de 50 à 75 % qu’avec le traitement Standard.
Comment consulter mon utilisation et mes dépenses liées au traitement prioritaire ?
Pour afficher les tokens traités par le traitement prioritaire, accédez au tableau de bord Usage, sélectionnez Chat Completions ou Responses, puis regroupez par offre. Pour afficher le coût du traitement prioritaire, accédez au tableau de bord Usage et sélectionnez Regrouper par poste.
Modèles
Le traitement prioritaire est-il disponible pour le contexte long, les modèles affinés, les embeddings, etc. ?
Pas pour le moment. Nous évaluerons à l’avenir l’opportunité de proposer le traitement prioritaire sur d’autres produits au-delà de nos modèles les plus récents.
Comment les autres modalités fonctionnent-elles avec le traitement prioritaire ?
Le traitement prioritaire prend en charge les mêmes fonctionnalités multimodales que celles disponibles sur Standard. En particulier, les images peuvent être utilisées comme entrées pour le traitement prioritaire et sont traitées avec la même faible latence.
Les futurs modèles seront-ils pris en charge ?
Nous prévoyons de proposer le traitement prioritaire sur les nouveaux modèles GPT, mais nous ne garantissons pas que chaque modèle sera pris en charge.
Limites de débit
Quelles sont les limites de débit ?
La consommation du traitement prioritaire est traitée de la même manière que le trafic API standard pour les limites de débit.
Quelles sont les limites de débit de montée en charge ?
Le traitement prioritaire applique des limites de débit de montée en charge afin de garantir des performances élevées et constantes à tous les clients, tout en offrant une tarification flexible à la demande. Si (a) les performances du traitement prioritaire sont dégradées ET (b) le trafic d’un client augmente trop rapidement, certaines requêtes Priority peuvent, dans de rares cas, être rétrogradées vers le traitement Standard.
La limite actuelle de débit de montée en charge du traitement prioritaire est définie dans notre documentation principale ici.
Bonnes pratiques pour rester dans votre limite de débit de montée en charge
Augmentez progressivement le trafic lorsque vous changez de modèles. Par exemple, si votre application passe d’un instantané précédent à un nouveau, utilisez un indicateur de fonctionnalité pour basculer le trafic sur quelques heures plutôt que d’un seul coup.
Évitez d’exécuter de gros traitements de données ou des tâches asynchrones sur le traitement prioritaire. Ces tâches peuvent faire augmenter le trafic très rapidement et n’ont souvent pas besoin des performances améliorées du traitement prioritaire.
Si vous rencontrez régulièrement des limites de débit de montée en charge, envisagez plutôt d’acheter un quota de l’offre Scale.
Les limites de débit de montée en charge sont-elles partagées entre mes projets ou organisations ?
Oui, tout votre trafic contribue à la même limite de débit de montée en charge.
Politiques
Que se passe-t-il si le traitement prioritaire n’atteint pas l’objectif de latence ?
Veuillez contacter votre AD pour toute question ou préoccupation. Les SLA du traitement prioritaire seront traités de la même manière que les SLA de l’offre Scale ; des crédits de service seront proposés si nous ne respectons pas ces SLA pour les clients sous contrat Enterprise pendant une fenêtre de temps donnée.
Le traitement prioritaire est-il compatible avec la résidence des données ?
Oui.
Le traitement prioritaire est-il compatible avec ZDR et le BAA ?
Oui.