किसी स्ट्रिंग को एम्बेडिंग के लिए भेजने से पहले, आप OpenAI की tiktoken टोकनाइज़र लाइब्रेरी का उपयोग करके अनुमान लगा सकते हैं कि यह कितने टोकन उपयोग करेगी.
यह विशेष रूप से उपयोगी है क्योंकि एम्बेडिंग मॉडल (जैसे text-embedding-3-small) की अधिकतम टोकन सीमाएँ होती हैं, जिनके भीतर आपको रहना होगा.
---
Tiktoken से टोकन कैसे गिनें
आप किसी स्ट्रिंग से बनने वाले टोकन की संख्या निकालने के लिए tiktoken Python पैकेज का उपयोग कर सकते हैं.
यहाँ एक नमूना कोड स्निपेट है:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returns the number of tokens in a text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)महत्वपूर्ण:
तीसरी पीढ़ी के एम्बेडिंग मॉडल (जैसे,
text-embedding-3-smallयाtext-embedding-3-large) के लिए, आपको"cl100k_base"एन्कोडिंग का उपयोग करना चाहिए.अलग-अलग मॉडल को अलग-अलग एन्कोडिंग की आवश्यकता हो सकती है — संदेह होने पर हमेशा मॉडल दस्तावेज़ देखें.
---
टोकन गिनना क्यों महत्वपूर्ण है
यदि आपकी स्ट्रिंग मॉडल के अधिकतम इनपुट आकार से अधिक हो जाती है, तो आपका API अनुरोध विफल हो जाएगा.
पहले से टोकन की सटीक गिनती करने से एम्बेडिंग वर्कफ़्लो अधिक सुचारु रहते हैं और प्रसंस्करण के दौरान त्रुटियाँ रुकती हैं.
---