کسی اسٹرنگ کو ایمبیڈنگ کے لیے بھیجنے سے پہلے، آپ OpenAI کی tiktoken ٹوکنائزر لائبریری استعمال کر کے اندازہ لگا سکتے ہیں کہ یہ کتنے ٹوکنز استعمال کرے گی۔
یہ خاص طور پر مفید ہے کیونکہ ایمبیڈنگ ماڈلز (جیسے text-embedding-3-small) کی زیادہ سے زیادہ ٹوکن حدود ہوتی ہیں جن کے اندر آپ کو رہنا ہوگا۔
---
Tiktoken کے ساتھ ٹوکنز کیسے گنیں
آپ tiktoken Python پیکیج استعمال کر کے کسی اسٹرنگ سے بننے والے ٹوکنز کی تعداد کا حساب لگا سکتے ہیں۔
یہاں ایک نمونہ کوڈ اسنیپٹ ہے:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""ایک ٹیکسٹ اسٹرنگ میں ٹوکنز کی تعداد واپس کرتا ہے۔"""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# مثال کے طور پر استعمال
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)اہم:
تیسری نسل کے ایمبیڈنگ ماڈلز (مثلاً
text-embedding-3-smallیاtext-embedding-3-large) کے لیے، آپ کو"cl100k_base"انکوڈنگ استعمال کرنی چاہیے۔مختلف ماڈلز کو مختلف انکوڈنگز درکار ہو سکتی ہیں — اگر یقین نہ ہو تو ہمیشہ ماڈل کی دستاویزات دیکھیں۔
---
ٹوکن گننا کیوں اہم ہے
اگر آپ کی اسٹرنگ ماڈل کے زیادہ سے زیادہ ان پٹ سائز سے بڑھ جائے، تو آپ کی API درخواست ناکام ہو جائے گی۔
وقت سے پہلے ٹوکنز کو درست طور پر گننا ایمبیڈنگ ورک فلوز کو زیادہ ہموار بناتا ہے اور پروسیسنگ کے دوران خرابیوں کو روکتا ہے۔
---