Мөрийг эмбеддинг үүсгэхээр илгээхийн өмнө OpenAI-ийн tiktoken токенжуулагч санг ашиглан хэдэн токен зарцуулахыг тооцоолж болно.
Эмбеддинг загварууд (жишээ нь text-embedding-3-small) токены дээд хязгаартай тул үүнийг баримтлахад энэ нь онцгой ач холбогдолтой.
---
Tiktoken-оор токен хэрхэн тоолох вэ
Тэмдэгт мөр үүсгэх токены тоог тооцоолохын тулд та Python-ы tiktoken багцыг ашиглаж болно.
Жишээ кодын хэсэг:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Текст мөр дэх токены тоог буцаана."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Хэрэглээний жишээ
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Анхаарах зүйл:
Гурав дахь үеийн эмбеддинг загваруудад (жишээ нь text-embedding-3-small эсвэл text-embedding-3-large) "cl100k_base" кодчиллыг ашиглана уу.
Загвар бүрд өөр кодчилол шаардлагатай байж болох тул эргэлзсэн үедээ тухайн загварын баримт бичгийг заавал шалгаарай.
---
Токен тоолох яагаад чухал вэ
Хэрэв таны тэмдэгт мөр загварын оролтын дээд хэмжээнээс хэтэрвэл API хүсэлт амжилтгүй болно.
Токенуудыг урьдчилан зөв тоолсноор эмбеддингийн ажлын урсгал илүү жигд болж, боловсруулалтын явцад гарах алдаанаас сэргийлнэ.
---