ஜனவரி 25, 2024 அன்று, இரண்டு புதிய எம்பெடிங் மாடல்களை வெளியிட்டோம்: text-embedding-3-small மற்றும் text-embedding-3-large. இவை குறைந்த செலவுகள், உயர்ந்த பல்மொழிச் செயல்திறன், எம்பெடிங்களைச் சுருக்குவதற்கான புதிய அளவுரு ஆகியவற்றைக் கொண்ட எங்களின் சமீபத்திய மற்றும் சிறந்த செயல்திறன் கொண்ட எம்பெடிங் மாடல்கள். மேலும் படிக்கவும்.
சமீபத்திய எம்பெடிங் மாடல்களில் என்ன வேறுபாடு உள்ளது?
எங்கள் சமீபத்திய v3 மாடல்கள் குறைந்த விலையில், பொதுவான அளவுகோல் சோதனைகளில் மேம்பட்ட செயல்திறனை வழங்குகின்றன. செயல்திறன் மேம்பாடுகள் குறித்து அறிவிப்பு வலைப்பதிவு இடுகை மற்றும் உருவாக்குநர் ஆவணம் ஆகியவற்றில் மேலும் படிக்கலாம்.
ஒரு சரத்தை எம்பெட் செய்வதற்கு முன் அதில் எத்தனை டோக்கன்கள் இருக்கும் என்பதை எப்படி அறியலாம்?
ஒரு சரத்தில் எத்தனை டோக்கன்கள் இருக்கும் என்பதைச் சரிபார்க்க OpenAI-இன் Tiktoken தொகுப்பை பயன்படுத்தலாம். எங்கள் எம்பெடிங்ஸ் உருவாக்குநர் வழிகாட்டியில் மேலும் அறிக.
அருகிலுள்ள K எம்பெடிங் வெக்டர்களை விரைவாக எப்படி மீட்டெடுக்கலாம்?
பல வெக்டர்களில் விரைவாகத் தேட, வெக்டர் தரவுத்தளத்தை பயன்படுத்த பரிந்துரைக்கிறோம்.
எந்த தூரச் சார்பைப் பயன்படுத்த வேண்டும்?
OpenAI ஏபிஐ எம்பெடிங் வெளியீடுகள், dimensions அளவுருவால் சுருக்கிய பிறகும், இயல்பாகவே நீளம் 1 ஆக L2-இயல்பாக்கப்பட்டிருக்கும்; அதாவது:
OpenAI எம்பெடிங்ஸ் நீளம் 1 ஆக இயல்பாக்கப்பட்டிருக்கும்; அதாவது:
கோசைன் ஒற்றுமையை வெறும் புள்ளிப் பெருக்கலைப் பயன்படுத்தி சிறிது வேகமாகக் கணக்கிடலாம்.
கோசைன் ஒற்றுமையும் யூக்ளிடியன் தூரமும் ஒரே தரவரிசைகளைத் தரும்.