ಜನವರಿ 25, 2024ರಂದು ನಾವು ಎರಡು ಹೊಸ ಎಂಬೆಡಿಂಗ್ಗಳ ಮಾಡೆಲ್ಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ್ದೇವೆ: text-embedding-3-small ಮತ್ತು text-embedding-3-large. ಇವು ಕಡಿಮೆ ವೆಚ್ಚ, ಹೆಚ್ಚಿನ ಬಹುಭಾಷಾ ಕಾರ್ಯಕ್ಷಮತೆ, ಮತ್ತು ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಚಿಕ್ಕದಾಗಿಸಲು ಹೊಸ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ ನಮ್ಮ ಹೊಸದಾದ ಮತ್ತು ಅತ್ಯಂತ ಕಾರ್ಯಕ್ಷಮ ಎಂಬೆಡಿಂಗ್ ಮಾಡೆಲ್ಗಳಾಗಿವೆ. ಇನ್ನಷ್ಟು ಓದಿ.
ಇತ್ತೀಚಿನ ಎಂಬೆಡಿಂಗ್ಗಳ ಮಾಡೆಲ್ಗಳಲ್ಲಿ ಏನು ವಿಭಿನ್ನವಾಗಿದೆ?
ನಮ್ಮ ಇತ್ತೀಚಿನ v3 ಮಾಡೆಲ್ಗಳು ಕಡಿಮೆ ಬೆಲೆಗೆ ಸಾಮಾನ್ಯ ಬೆಂಚ್ಮಾರ್ಕ್ಗಳಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ಕಾರ್ಯಕ್ಷಮತೆಯ ಸುಧಾರಣೆಗಳ ಬಗ್ಗೆ ನೀವು ಪ್ರಕಟಣೆ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ನಲ್ಲಿ ಮತ್ತು ಡೆವಲಪರ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್ನಲ್ಲಿ ಇನ್ನಷ್ಟು ಓದಬಹುದು.
ಸ್ಟ್ರಿಂಗ್ ಅನ್ನು ಎಂಬೆಡ್ ಮಾಡಲು ಪ್ರಯತ್ನಿಸುವ ಮೊದಲು ಅದರಲ್ಲಿ ಎಷ್ಟು ಟೋಕನ್ಗಳು ಇರುತ್ತವೆ ಎಂದು ನಾನು ಹೇಗೆ ತಿಳಿಯಬಹುದು?
ಸ್ಟ್ರಿಂಗ್ನಲ್ಲಿ ಎಷ್ಟು ಟೋಕನ್ಗಳು ಇರುತ್ತವೆ ಎಂದು ಪರಿಶೀಲಿಸಲು ನೀವು OpenAI's Tiktoken ಪ್ಯಾಕೇಜ್ ಅನ್ನು ಬಳಸಬಹುದು. ನಮ್ಮ ಎಂಬೆಡಿಂಗ್ಗಳ ಡೆವಲಪರ್ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಇನ್ನಷ್ಟು ತಿಳಿಯಿರಿ.
K ಸಮೀಪದ ಎಂಬೆಡಿಂಗ್ ವೆಕ್ಟರ್ಗಳನ್ನು ನಾನು ತ್ವರಿತವಾಗಿ ಹೇಗೆ ಹಿಂಪಡೆಯಬಹುದು?
ಹಲವಾರು ವೆಕ್ಟರ್ಗಳಲ್ಲಿ ತ್ವರಿತವಾಗಿ ಹುಡುಕಲು, ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಬಳಸುವಂತೆ ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ.
ನಾನು ಯಾವ ದೂರ ಫಂಕ್ಷನ್ ಅನ್ನು ಬಳಸಬೇಕು?
OpenAI API ಎಂಬೆಡಿಂಗ್ ಔಟ್ಪುಟ್ಗಳು ಡೀಫಾಲ್ಟ್ ಆಗಿ ಉದ್ದ 1ಕ್ಕೆ L2-ಸಾಮಾನ್ಯೀಕರಿಸಲ್ಪಟ್ಟಿರುತ್ತವೆ, dimensions ಪ್ಯಾರಾಮೀಟರ್ನೊಂದಿಗೆ ಚಿಕ್ಕದಾಗಿಸಿದ ನಂತರವೂ ಸಹ, ಅಂದರೆ:
OpenAI ಎಂಬೆಡಿಂಗ್ಗಳನ್ನು ಉದ್ದ 1ಕ್ಕೆ ಸಾಮಾನ್ಯೀಕರಿಸಲಾಗಿದೆ, ಅಂದರೆ:
ಕೇವಲ ಡಾಟ್ ಪ್ರಾಡಕ್ಟ್ ಬಳಸಿ ಕೊಸೈನ್ ಸಿಮಿಲಾರಿಟಿಯನ್ನು ಸ್ವಲ್ಪ ವೇಗವಾಗಿ ಗಣಿಸಬಹುದು
ಕೊಸೈನ್ ಸಿಮಿಲಾರಿಟಿ ಮತ್ತು ಯೂಕ್ಲಿಡಿಯನ್ ದೂರ ಒಂದೇ ರೀತಿಯ ರ್ಯಾಂಕಿಂಗ್ಗಳನ್ನು ನೀಡುತ್ತವೆ