Innan du skickar en sträng för inbäddning kan du uppskatta hur många tokens den kommer att använda genom att använda OpenAI:s tokeniseringsbibliotek tiktoken.
Detta är särskilt användbart eftersom inbäddningsmodeller (som text-embedding-3-small) har maximala tokengränser som du måste hålla dig inom.
---
Så räknar du tokens med Tiktoken
Du kan använda Python-paketet tiktoken för att beräkna antalet tokens som en sträng genererar.
Här är ett exempel på kodavsnitt:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returnerar antalet token i en textsträng."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Exempel på användning
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Viktigt:
För tredje generationens inbäddningsmodeller (t.ex.
text-embedding-3-smallellertext-embedding-3-large) bör du använda kodningen"cl100k_base".Olika modeller kan kräva olika kodningar – se alltid modelldokumentationen om du är osäker.
---
Varför tokenräkning är viktigt
Om din sträng överskrider modellens maximala indatastorlek misslyckas din API-begäran.
Att räkna tokens korrekt i förväg ger smidigare arbetsflöden för inbäddningar och förhindrar fel under bearbetningen.
---