Preden pošljete niz za vdelavo, lahko ocenite, koliko žetonov bo porabil, z uporabo OpenAI-jeve knjižnice za tokenizacijo tiktoken.
To je še posebej uporabno, ker imajo modeli za vdelave (kot je text-embedding-3-small) največje dovoljeno število žetonov, ki ga ne smete preseči.
---
Kako šteti žetone s Tiktoken
Za izračun števila žetonov, ki jih bo ustvaril niz, lahko uporabite paket Python tiktoken.
Tukaj je primer izseka kode:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Vrne število žetonov v besedilnem nizu."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Primer uporabe
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Pomembno:
Za modele za vdelave tretje generacije (npr. text-embedding-3-small ali text-embedding-3-large) uporabite kodiranje »cl100k_base«.
Različni modeli lahko zahtevajo različna kodiranja — če ste v dvomih, vedno preverite dokumentacijo modela.
---
Zakaj je štetje žetonov pomembno
Če vaš niz preseže največjo vhodno velikost modela, vaša zahteva API ne bo uspela.
Natančno vnaprejšnje štetje žetonov zagotavlja bolj gladke poteke dela z vdelavami in preprečuje napake med obdelavo.
---