Avant d’envoyer une chaîne à intégrer, vous pouvez estimer le nombre de tokens qu’elle utilisera à l’aide de la bibliothèque de tokenisation tiktoken d’OpenAI.
C’est particulièrement utile, car les modèles d’intégration (comme text-embedding-3-small) ont des limites maximales de tokens à respecter.
---
Comment compter les tokens avec Tiktoken
Vous pouvez utiliser le paquet Python tiktoken pour calculer le nombre de tokens qu’une chaîne générera.
Voici un exemple d’extrait de code :
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Retourne le nombre de tokens dans une chaîne de texte."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Exemple d’utilisation
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Important :
Pour les modèles d’intégration de troisième génération (p. ex., text-embedding-3-small ou text-embedding-3-large), utilisez l’encodage « cl100k_base ».
Différents modèles peuvent nécessiter différents encodages — en cas de doute, consultez toujours la documentation du modèle.
---
Pourquoi le comptage des tokens est important
Si votre chaîne dépasse la taille d’entrée maximale du modèle, votre requête API échouera.
Compter précisément les tokens à l’avance assure des flux de travail d’intégration plus fluides et prévient les erreurs pendant le traitement.
---