Før du sender en streng til embedding, kan du estimere, hvor mange tokens den vil bruge, ved at anvende OpenAIs tiktoken-tokeniseringsbibliotek.
Dette er især nyttigt, fordi embeddingmodeller (som text-embedding-3-small) har maksimale tokengrænser, som du skal holde dig inden for.
---
Sådan tæller du tokens med Tiktoken
Du kan bruge Python-pakken tiktoken til at beregne, hvor mange tokens en streng vil generere.
Her er et eksempel på et kodestykke:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returnerer antallet af tokens i en tekststreng."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Eksempel på brug
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Vigtigt:
For tredjegenerations-embeddingmodeller (f.eks.
text-embedding-3-smallellertext-embedding-3-large) skal du bruge"cl100k_base"-kodningen.Forskellige modeller kan kræve forskellige kodninger – se altid modeldokumentationen, hvis du er i tvivl.
---
Hvorfor tokenoptælling er vigtig
Hvis din streng overskrider modellens maksimale inputstørrelse, mislykkes din API-anmodning.
Nøjagtig optælling af tokens på forhånd sikrer mere gnidningsfri embedding-workflows og forebygger fejl under behandlingen.
---