એમ્બેડિંગ માટે સ્ટ્રિંગ મોકલતા પહેલાં, તમે OpenAIની tiktoken ટોકનાઇઝર લાઇબ્રેરીનો ઉપયોગ કરીને તે કેટલા ટોકન વાપરશે તેનો અંદાજ લગાવી શકો છો.
આ ખાસ કરીને ઉપયોગી છે, કારણ કે એમ્બેડિંગ મોડલ (જેમ કે text-embedding-3-small)માં મહત્તમ ટોકન મર્યાદા હોય છે, જેની અંદર તમારે રહેવું પડશે.
---
Tiktoken વડે ટોકન કેવી રીતે ગણવા
સ્ટ્રિંગ કેટલા ટોકન જનરેટ કરશે તેની ગણતરી કરવા માટે તમે tiktoken Python પૅકેજનો ઉપયોગ કરી શકો છો.
અહીં નમૂનાનો કોડ સ્નિપેટ છે:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""ટેક્સ્ટ string માંના ટોકનની સંખ્યા પરત કરે છે."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)મહત્ત્વપૂર્ણ:
ત્રીજી પેઢીના એમ્બેડિંગ મોડલ માટે (દા.ત.,
text-embedding-3-smallઅથવાtext-embedding-3-large), તમારે"cl100k_base"એન્કોડિંગનો ઉપયોગ કરવો જોઈએ.અલગ-અલગ મોડલને અલગ એન્કોડિંગની જરૂર પડી શકે છે — ખાતરી ન હોય તો હંમેશા મોડલ દસ્તાવેજીકરણ જુઓ.
---
ટોકનની ગણતરી શા માટે મહત્વની છે
જો તમારી સ્ટ્રિંગ મોડલના મહત્તમ ઇનપુટ કદને વટાવે, તો તમારી API વિનંતી નિષ્ફળ જશે.
અગાઉથી ટોકનની ચોક્કસ ગણતરી કરવાથી એમ્બેડિંગ વર્કફ્લો વધુ સરળ રહે છે અને પ્રક્રિયા દરમિયાન ભૂલો અટકે છે.
---