ಅಂತಃಸ್ಥಾಪನೆಗಾಗಿ ಅಕ್ಷರ ಸರಣಿಯನ್ನು ಕಳುಹಿಸುವ ಮೊದಲು, OpenAIನ tiktoken ಟೋಕನ್ ವಿಭಜಕ ಗ್ರಂಥಾಲಯವನ್ನು ಬಳಸಿ ಅದು ಎಷ್ಟು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆಂದು ಅಂದಾಜಿಸಬಹುದು.
ಅಂತಃಸ್ಥಾಪನಾ ಮಾಡೆಲ್ಗಳಿಗೆ (ಉದಾ., text-embedding-3-small) ಗರಿಷ್ಠ ಟೋಕನ್ ಮಿತಿಗಳಿರುವುದರಿಂದ, ಅವುಗಳನ್ನು ಮೀರದಿರಲು ಇದು ವಿಶೇಷವಾಗಿ ಉಪಯುಕ್ತವಾಗಿದೆ.
---
Tiktoken ಬಳಸಿ ಟೋಕನ್ಗಳನ್ನು ಎಣಿಸುವುದು ಹೇಗೆ
ಸ್ಟ್ರಿಂಗ್ ರಚಿಸುವ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಲೆಕ್ಕಹಾಕಲು ನೀವು tiktoken Python ಪ್ಯಾಕೇಜ್ ಅನ್ನು ಬಳಸಬಹುದು.
ಮಾದರಿ ಕೋಡ್ ಸ್ನಿಪೆಟ್ ಇಲ್ಲಿದೆ:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returns the number of tokens in a text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)ಮುಖ್ಯವಾದುದು:
ಮೂರನೇ ತಲೆಮಾರಿನ ಅಂತಃಸ್ಥಾಪನಾ ಮಾಡೆಲ್ಗಳಿಗೆ (ಉದಾ., text-embedding-3-small ಅಥವಾ text-embedding-3-large) "cl100k_base" ಸಂಕೇತೀಕರಣವನ್ನು ಬಳಸಬೇಕು.
ಬೇರೆ ಬೇರೆ ಮಾಡೆಲ್ಗಳಿಗೆ ಬೇರೆ ಸಂಕೇತೀಕರಣಗಳು ಬೇಕಾಗಬಹುದು. ಸಂದೇಹವಿದ್ದರೆ ಯಾವಾಗಲೂ ಮಾಡೆಲ್ನ ದಸ್ತಾವೇಜನ್ನು ನೋಡಿ.
---
ಟೋಕನ್ ಎಣಿಕೆ ಏಕೆ ಮುಖ್ಯ
ನಿಮ್ಮ ಸ್ಟ್ರಿಂಗ್ ಮಾಡೆಲ್ನ ಗರಿಷ್ಠ ಇನ್ಪುಟ್ ಗಾತ್ರವನ್ನು ಮೀರಿದರೆ, ನಿಮ್ಮ API ವಿನಂತಿ ವಿಫಲವಾಗುತ್ತದೆ.
ಮುಂಚಿತವಾಗಿ ಟೋಕನ್ಗಳನ್ನು ನಿಖರವಾಗಿ ಎಣಿಸುವುದು ಸುಗಮ ಎಂಬೆಡಿಂಗ್ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಾಗ ದೋಷಗಳನ್ನು ತಡೆಯುತ್ತದೆ.
---