Preden pošljete niz za vdelavo, lahko ocenite, koliko žetonov bo uporabil, z uporabo OpenAI-jeve knjižnice tokenizatorja tiktoken.
To je še posebej koristno, ker imajo modeli vdelav (kot je text-embedding-3-small) največje omejitve žetonov, ki jih boste morali upoštevati.
---
Kako šteti žetone s Tiktoken
Za izračun števila žetonov, ki jih bo ustvaril niz, lahko uporabite paket Python tiktoken.
Tukaj je primer izseka kode:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Vrne število žetonov v besedilnem nizu."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Primer uporabe
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Pomembno:
Za modele vdelav tretje generacije (npr.
text-embedding-3-smallalitext-embedding-3-large) uporabite kodiranje"cl100k_base".Različni modeli lahko zahtevajo različna kodiranja — če niste prepričani, vedno glejte dokumentacijo modela.
---
Zakaj je štetje žetonov pomembno
Če vaš niz preseže največjo vhodno velikost modela, vaša zahteva API ne bo uspela.
Natančno vnaprejšnje štetje žetonov zagotavlja bolj gladke poteke dela z vdelavami in preprečuje napake med obdelavo.
---