Au 11 mars 2025, nous avons publié les éléments de base de notre nouvelle plateforme Agents. Pour plus de détails, consultez notre documentation d’API pour notre API Responses, les outils, notamment Recherche Web, Recherche de fichiers et Utilisation de l’ordinateur, ainsi que notre SDK Agents avec Traçage.
Les tokens de prompt sont les tokens que vous saisissez dans le modèle. Il s’agit du nombre de tokens dans votre prompt.
Les tokens de complétion sont tous les tokens que le modèle génère en réponse à votre entrée. Pour une requête standard, il s’agit du nombre de tokens dans la complétion.
La plupart des modèles que nous proposons ont des limites à la fois sur le nombre de tokens qu’ils peuvent accepter en entrée (tokens de prompt) et sur le nombre de tokens qu’ils peuvent produire en sortie (tokens de complétion ou d’échantillons).
Cela inclut également tous les tokens générés lors de l’utilisation d’une valeur plus élevée de best_of ou de n. Par exemple, si vous générez 3 complétions candidates avec best_of = 3, le nombre de tokens échantillonnés sera au maximum de 3 * max_tokens.
Pour en savoir plus sur la gestion des tokens, consultez notre guide de génération de texte.