Depuis le 11 mars 2025, nous avons publié les composants de base de notre nouvelle plateforme Agents. Pour en savoir plus, consultez notre documentation d’API pour notre API Responses, les outils comme Recherche Web, Recherche de fichiers et Utilisation de l’ordinateur, ainsi que notre SDK Agents avec traçage.
Les tokens d’invite sont les tokens que vous entrez dans le modèle. Il s’agit du nombre de tokens dans votre invite.
Les tokens de complétion sont tous les tokens que le modèle génère en réponse à votre entrée. Pour une requête standard, il s’agit du nombre de tokens dans la complétion.
La plupart des modèles que nous proposons ont des limites à la fois quant au nombre de tokens qu’ils peuvent recevoir (tokens d’invite) et au nombre de tokens qu’ils peuvent produire (tokens de complétion ou d’échantillons).
Cela comprend aussi tous les tokens générés lors de l’utilisation d’une valeur plus élevée de best_of ou de n. Par exemple, si vous générez 3 complétions candidates avec best_of = 3, le nombre de tokens échantillonnés sera d’au plus 3 * max_tokens.
Vous pouvez en savoir plus sur la gestion des tokens dans notre guide de génération de texte.