ಎಂಬೆಡಿಂಗ್ಗಾಗಿ ಸ್ಟ್ರಿಂಗ್ ಕಳುಹಿಸುವ ಮೊದಲು, OpenAIಯ tiktoken ಟೋಕನೈಸರ್ ಲೈಬ್ರರಿ ಅನ್ವಯಿಸುವ ಮೂಲಕ ಅದು ಎಷ್ಟು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ ಎಂಬುದನ್ನು ನೀವು ಅಂದಾಜಿಸಬಹುದು.
ಇದು ವಿಶೇಷವಾಗಿ ಉಪಯುಕ್ತ, ಏಕೆಂದರೆ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ಗಳಿಗೆ (text-embedding-3-small ನಂತಹ) ನೀವು ಒಳಗೇ ಇರಬೇಕಾದ ಗರಿಷ್ಠ ಟೋಕನ್ ಮಿತಿಗಳಿವೆ.
---
Tiktoken ಬಳಸಿ ಟೋಕನ್ಗಳನ್ನು ಎಣಿಸುವುದು ಹೇಗೆ
ಸ್ಟ್ರಿಂಗ್ ರಚಿಸುವ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಲೆಕ್ಕಹಾಕಲು ನೀವು tiktoken Python ಪ್ಯಾಕೇಜ್ ಅನ್ನು ಬಳಸಬಹುದು.
ಮಾದರಿ ಕೋಡ್ ಸ್ನಿಪೆಟ್ ಇಲ್ಲಿದೆ:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returns the number of tokens in a text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)ಮುಖ್ಯ:
ಮೂರನೇ ತಲೆಮಾರಿನ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ (ಉದಾ.,
text-embedding-3-smallಅಥವಾtext-embedding-3-large), ನೀವು"cl100k_base"ಎನ್ಕೋಡಿಂಗ್ ಅನ್ನು ಬಳಸಬೇಕು.ವಿಭಿನ್ನ ಮಾಡೆಲ್ಗಳಿಗೆ ವಿಭಿನ್ನ ಎನ್ಕೋಡಿಂಗ್ಗಳು ಬೇಕಾಗಬಹುದು — ಖಚಿತವಾಗಿರದಿದ್ದರೆ ಯಾವಾಗಲೂ ಮಾಡೆಲ್ ದಸ್ತಾವೇಜನ್ನು ನೋಡಿ.
---
ಟೋಕನ್ ಎಣಿಕೆ ಏಕೆ ಮುಖ್ಯ
ನಿಮ್ಮ ಸ್ಟ್ರಿಂಗ್ ಮಾಡೆಲ್ನ ಗರಿಷ್ಠ ಇನ್ಪುಟ್ ಗಾತ್ರವನ್ನು ಮೀರಿದರೆ, ನಿಮ್ಮ API ವಿನಂತಿ ವಿಫಲವಾಗುತ್ತದೆ.
ಮುಂಚಿತವಾಗಿ ಟೋಕನ್ಗಳನ್ನು ನಿಖರವಾಗಿ ಎಣಿಸುವುದು ಸುಗಮ ಎಂಬೆಡಿಂಗ್ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಾಗ ದೋಷಗಳನ್ನು ತಡೆಯುತ್ತದೆ.
---