Bago magpadala ng string para sa embedding, maaari mong tantiyahin kung ilang token ang gagamitin nito sa pamamagitan ng paggamit ng tiktoken tokenizer library ng OpenAI.
Lalo itong kapaki-pakinabang dahil may maximum na limitasyon sa token ang mga embedding model (tulad ng text-embedding-3-small) na kailangan mong sundin.
---
Paano Magbilang ng mga Token gamit ang Tiktoken
Maaari mong gamitin ang Python package na tiktoken para kalkulahin ang bilang ng mga token na bubuuin ng isang string.
Narito ang isang sample na code snippet:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Ibinabalik ang bilang ng mga token sa isang text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Halimbawa ng paggamit
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Mahalaga:
Para sa mga embedding model na ikatlong henerasyon (hal.,
text-embedding-3-smallotext-embedding-3-large), dapat mong gamitin ang"cl100k_base"encoding.Maaaring mangailangan ng iba't ibang encoding ang iba't ibang modelo — palaging sumangguni sa dokumentasyon ng modelo kung hindi sigurado.
---
Bakit Mahalaga ang Pagbilang ng Token
Kung lumampas ang iyong string sa maximum na laki ng input ng modelo, mabibigo ang iyong API request.
Tinitiyak ng tumpak na pagbilang ng mga token nang maaga ang mas maayos na embedding workflow at naiiwasan ang mga error habang pinoproseso.
---