Жолды эмбеддинг жасауға жібермес бұрын, OpenAI ұсынған tiktoken токенизатор кітапханасын қолданып, оған қанша токен қажет болатынын есептеуге болады.
Бұл әсіресе пайдалы, өйткені эмбеддинг модельдерінде (мысалы, text-embedding-3-small) токен санының шегі бар және одан аспау керек.
---
Tiktoken көмегімен токендерді қалай санауға болады
Жол жасайтын токендер санын есептеу үшін Python-ның tiktoken пакетін пайдалана аласыз.
Міне, код үзіндісінің үлгісі:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Мәтін жолындағы токендер санын қайтарады."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Қолдану мысалы
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Маңызды:
Үшінші буын эмбеддинг модельдері (мысалы, text-embedding-3-small немесе text-embedding-3-large) үшін «cl100k_base» кодтамасын пайдалану керек.
Әртүрлі модельдерге әртүрлі кодтамалар қажет болуы мүмкін — күмәндансаңыз, әрдайым модель құжаттамасын қараңыз.
---
Токендерді санау неге маңызды
Егер жолыңыз модельдің ең үлкен кіріс өлшемінен асып кетсе, API сұрауыңыз орындалмайды.
Токендерді алдын ала дәл санау embedding жұмыс процестерін бірқалыпты етеді және өңдеу кезіндегі қателердің алдын алады.
---