2024ರ ಜನವರಿ 25ರಂದು ನಾವು ಎರಡು ಹೊಸ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದೆವು: text-embedding-3-small ಮತ್ತು text-embedding-3-large. ಕಡಿಮೆ ವೆಚ್ಚ, ಉತ್ತಮ ಬಹುಭಾಷಾ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಲು ಹೊಸ ನಿಯತಾಂಕವನ್ನು ಹೊಂದಿರುವ ಇವು ನಮ್ಮ ಇತ್ತೀಚಿನ ಹಾಗೂ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯ ಎಂಬೆಡಿಂಗ್ ಮಾದರಿಗಳಾಗಿವೆ. ಇನ್ನಷ್ಟು ಓದಿ.
ಇತ್ತೀಚಿನ ಎಂಬೆಡಿಂಗ್ಗಳ ಮಾಡೆಲ್ಗಳಲ್ಲಿ ಏನು ವಿಭಿನ್ನವಾಗಿದೆ?
ನಮ್ಮ ಇತ್ತೀಚಿನ v3 ಮಾಡೆಲ್ಗಳು ಕಡಿಮೆ ಬೆಲೆಗೆ ಸಾಮಾನ್ಯ ಬೆಂಚ್ಮಾರ್ಕ್ಗಳಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ಕಾರ್ಯಕ್ಷಮತೆಯ ಸುಧಾರಣೆಗಳ ಬಗ್ಗೆ ನೀವು ಪ್ರಕಟಣೆ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ನಲ್ಲಿ ಮತ್ತು ಡೆವಲಪರ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ನಲ್ಲಿ ಇನ್ನಷ್ಟು ಓದಬಹುದು.
ಸ್ಟ್ರಿಂಗ್ ಅನ್ನು ಎಂಬೆಡ್ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುವ ಮೊದಲು ಅದರಲ್ಲಿ ಎಷ್ಟು ಟೋಕನ್ಗಳು ಇರುತ್ತವೆ ಎಂದು ನಾನು ಹೇಗೆ ತಿಳಿಯಬಹುದು?
ಸ್ಟ್ರಿಂಗ್ನಲ್ಲಿ ಎಷ್ಟು ಟೋಕನ್ಗಳು ಇರುತ್ತವೆ ಎಂದು ಪರಿಶೀಲಿಸಲು ನೀವು OpenAI's Tiktoken ಪ್ಯಾಕೇಜ್ ಅನ್ನು ಬಳಸಬಹುದು. ನಮ್ಮ ಎಂಬೆಡಿಂಗ್ಗಳ ಡೆವಲಪರ್ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಇನ್ನಷ್ಟು ತಿಳಿಯಿರಿ.
K ಸಮೀಪದ ಎಂಬೆಡಿಂಗ್ ವೆಕ್ಟರ್ಗಳನ್ನು ನಾನು ತ್ವರಿತವಾಗಿ ಹೇಗೆ ಹಿಂಪಡೆಯಬಹುದು?
ಹಲವಾರು ವೆಕ್ಟರ್ಗಳಲ್ಲಿ ತ್ವರಿತವಾಗಿ ಹುಡುಕಲು, ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಬಳಸುವಂತೆ ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ.
ನಾನು ಯಾವ ದೂರ ಫಂಕ್ಷನ್ ಅನ್ನು ಬಳಸಬೇಕು?
OpenAI API ಎಂಬೆಡಿಂಗ್ ಔಟ್ಪುಟ್ಗಳು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಉದ್ದ 1ಕ್ಕೆ L2-ಸಾಮಾನ್ಯೀಕರಿಸಲ್ಪಟ್ಟಿರುತ್ತವೆ, dimensions ಪ್ಯಾರಾಮೀಟರ್ನೊಂದಿಗೆ ಚಿಕ್ಕದಾಗಿಸಿದ ನಂತರವೂ ಸಹ, ಅಂದರೆ:
OpenAI ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಉದ್ದ 1ಕ್ಕೆ ಸಾಮಾನ್ಯೀಕರಿಸಲಾಗಿದೆ, ಅಂದರೆ:
ಕೇವಲ ಡಾಟ್ ಪ್ರಾಡಕ್ಟ್ ಬಳಸಿ ಕೊಸೈನ್ ಸಿಮಿಲಾರಿಟಿಯನ್ನು ಸ್ವಲ್ಪ ವೇಗವಾಗಿ ಗಣಿಸಬಹುದು
ಕೊಸೈನ್ ಸಿಮಿಲಾರಿಟಿ ಮತ್ತು ಯೂಕ್ಲಿಡಿಯನ್ ದೂರ ಒಂದೇ ರೀತಿಯ ರ್ಯಾಂಕಿಂಗ್ಗಳನ್ನು ನೀಡುತ್ತವೆ