Bago magpadala ng string para sa embedding, maaari mong tantiyahin kung ilang token ang gagamitin nito sa pamamagitan ng tiktoken tokenizer library ng OpenAI.
Lalo itong kapaki-pakinabang dahil may maximum na limitasyon sa token ang mga modelo ng embedding (gaya ng text-embedding-3-small) na hindi mo dapat lampasan.
---
Paano Magbilang ng mga Token gamit ang Tiktoken
Maaari mong gamitin ang Python package na tiktoken para kalkulahin ang bilang ng mga token na bubuuin ng isang string.
Narito ang isang sample na code snippet:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Ibinabalik ang bilang ng mga token sa isang text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Halimbawa ng paggamit
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Mahalaga:
Para sa mga modelo ng embedding na ikatlong henerasyon (hal., text-embedding-3-small o text-embedding-3-large), dapat mong gamitin ang encoding na "cl100k_base".
Maaaring mangailangan ng magkakaibang encoding ang iba't ibang modelo—palaging sumangguni sa dokumentasyon ng modelo kung hindi ka sigurado.
---
Bakit Mahalaga ang Pagbilang ng Token
Kung lumampas ang iyong string sa maximum na laki ng input ng modelo, mabibigo ang iyong API request.
Tinitiyak ng tumpak na pagbilang ng mga token nang maaga ang mas maayos na embedding workflow at naiiwasan ang mga error habang pinoproseso.
---