2024 ஜனவரி 25 அன்று, text-embedding-3-small மற்றும் text-embedding-3-large ஆகிய இரண்டு புதிய உட்பொதிப்பு மாதிரிகளை வெளியிட்டோம். குறைந்த செலவு, மேம்பட்ட பன்மொழிச் செயல்திறன், உட்பொதிப்புகளைச் சுருக்குவதற்கான புதிய அளவுரு ஆகியவற்றைக் கொண்ட இவை, எங்களின் மிகப் புதிய மற்றும் மிகச் சிறப்பாகச் செயல்படும் உட்பொதிப்பு மாதிரிகள். மேலும் அறிக.
சமீபத்திய எம்பெடிங் மாடல்களில் என்ன வேறுபாடு உள்ளது?
எங்கள் சமீபத்திய v3 மாடல்கள் குறைந்த விலையில், பொதுவான அளவுகோல் சோதனைகளில் மேம்பட்ட செயல்திறனை வழங்குகின்றன. செயல்திறன் மேம்பாடுகள் குறித்து அறிவிப்பு வலைப்பதிவு இடுகை மற்றும் உருவாக்குநர் ஆவணம் ஆகியவற்றில் மேலும் படிக்கலாம்.
ஒரு சரத்தை எம்பெட் செய்வதற்கு முன் அதில் எத்தனை டோக்கன்கள் இருக்கும் என்பதை எப்படி அறியலாம்?
ஒரு சரத்தில் எத்தனை டோக்கன்கள் இருக்கும் என்பதைச் சரிபார்க்க OpenAI-இன் Tiktoken தொகுப்பை பயன்படுத்தலாம். எங்கள் எம்பெடிங்ஸ் உருவாக்குநர் வழிகாட்டியில் மேலும் அறிக.
அருகிலுள்ள K எம்பெடிங் வெக்டர்களை விரைவாக எப்படி மீட்டெடுக்கலாம்?
பல வெக்டர்களில் விரைவாகத் தேட, வெக்டர் தரவுத்தளத்தை பயன்படுத்த பரிந்துரைக்கிறோம்.
எந்த தூரச் சார்பைப் பயன்படுத்த வேண்டும்?
OpenAI ஏபிஐ எம்பெடிங் வெளியீடுகள், dimensions அளவுருவால் சுருக்கிய பிறகும், இயல்பாகவே நீளம் 1 ஆக L2-இயல்பாக்கப்பட்டிருக்கும்; அதாவது:
OpenAI எம்பெடிங்ஸ் நீளம் 1 ஆக இயல்பாக்கப்பட்டிருக்கும்; அதாவது:
கோசைன் ஒற்றுமையை வெறும் புள்ளிப் பெருக்கலைப் பயன்படுத்தி சிறிது வேகமாகக் கணக்கிடலாம்.
கோசைன் ஒற்றுமையும் யூக்ளிடியன் தூரமும் ஒரே தரவரிசைகளைத் தரும்.