25 ਜਨਵਰੀ, 2024 ਨੂੰ ਅਸੀਂ ਦੋ ਨਵੇਂ ਐਮਬੈਡਿੰਗ ਮਾਡਲ ਜਾਰੀ ਕੀਤੇ: text-embedding-3-small ਅਤੇ text-embedding-3-large. ਇਹ ਸਾਡੇ ਸਭ ਤੋਂ ਨਵੇਂ ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਕਾਰਗੁਜ਼ਾਰੀ ਵਾਲੇ ਐਮਬੈਡਿੰਗ ਮਾਡਲ ਹਨ, ਜਿਨ੍ਹਾਂ ਦੀ ਲਾਗਤ ਘੱਟ ਹੈ, ਬਹੁ-ਭਾਸ਼ਾਈ ਕਾਰਗੁਜ਼ਾਰੀ ਬਿਹਤਰ ਹੈ ਅਤੇ ਐਮਬੈਡਿੰਗਾਂ ਨੂੰ ਛੋਟਾ ਕਰਨ ਲਈ ਇੱਕ ਨਵਾਂ ਪੈਰਾਮੀਟਰ ਹੈ. ਹੋਰ ਪੜ੍ਹੋ.
ਨਵੀਨਤਮ ਐਂਬੈਡਿੰਗ ਮਾਡਲਾਂ ਵਿੱਚ ਕੀ ਵੱਖਰਾ ਹੈ?
ਸਾਡੇ ਨਵੀਨਤਮ v3 ਮਾਡਲ ਘੱਟ ਕੀਮਤ 'ਤੇ ਆਮ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ ਹੋਰ ਮਜ਼ਬੂਤ ਪ੍ਰਦਰਸ਼ਨ ਦਿੰਦੇ ਹਨ. ਤੁਸੀਂ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰਾਂ ਬਾਰੇ ਘੋਸ਼ਣਾ ਬਲੌਗ ਪੋਸਟ ਅਤੇ ਡਿਵੈਲਪਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ.
ਕਿਸੇ ਸਟ੍ਰਿੰਗ ਨੂੰ ਐਂਬੈਡ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਮੈਂ ਕਿਵੇਂ ਪਤਾ ਲਗਾ ਸਕਦਾ ਹਾਂ ਕਿ ਇਸ ਵਿੱਚ ਕਿੰਨੇ ਟੋਕਨ ਹੋਣਗੇ?
ਤੁਸੀਂ ਇਹ ਜਾਂਚਣ ਲਈ OpenAI ਦਾ Tiktoken ਪੈਕੇਜ ਵਰਤ ਸਕਦੇ ਹੋ ਕਿ ਕਿਸੇ ਸਟ੍ਰਿੰਗ ਵਿੱਚ ਕਿੰਨੇ ਟੋਕਨ ਹੋਣਗੇ. ਸਾਡੀ ਐਂਬੈਡਿੰਗਜ਼ ਡਿਵੈਲਪਰ ਗਾਈਡ ਵਿੱਚ ਹੋਰ ਜਾਣੋ.
ਮੈਂ K ਸਭ ਤੋਂ ਨੇੜਲੇ ਐਂਬੈਡਿੰਗ ਵੈਕਟਰ ਤੁਰੰਤ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹਾਂ?
ਬਹੁਤ ਸਾਰੇ ਵੈਕਟਰਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਖੋਜ ਕਰਨ ਲਈ, ਅਸੀਂ ਵੈਕਟਰ ਡਾਟਾਬੇਸ ਵਰਤਣ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦੇ ਹਾਂ.
ਮੈਨੂੰ ਦੂਰੀ ਦਾ ਕਿਹੜਾ ਫੰਕਸ਼ਨ ਵਰਤਣਾ ਚਾਹੀਦਾ ਹੈ?
OpenAI API ਦੇ ਐਂਬੈਡਿੰਗ ਆਉਟਪੁੱਟ ਮੂਲ ਰੂਪ ਵਿੱਚ ਲੰਬਾਈ 1 ਤੱਕ L2-ਨਾਰਮਲਾਈਜ਼ਡ ਹੁੰਦੇ ਹਨ, dimensions ਪੈਰਾਮੀਟਰ ਨਾਲ ਛੋਟਾ ਕਰਨ ਤੋਂ ਬਾਅਦ ਵੀ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ:
OpenAI ਐਂਬੈਡਿੰਗਜ਼ ਲੰਬਾਈ 1 ਤੱਕ ਨਾਰਮਲਾਈਜ਼ਡ ਹੁੰਦੀਆਂ ਹਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ:
ਕੋਸਾਈਨ ਸਮਾਨਤਾ ਸਿਰਫ਼ ਡਾਟ ਪ੍ਰੋਡਕਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਥੋੜ੍ਹੀ ਤੇਜ਼ੀ ਨਾਲ ਗਿਣੀ ਜਾ ਸਕਦੀ ਹੈ
ਕੋਸਾਈਨ ਸਮਾਨਤਾ ਅਤੇ ਯੂਕਲਿਡੀਅਨ ਦੂਰੀ ਇੱਕੋ ਜਿਹੀਆਂ ਰੈਂਕਿੰਗਾਂ ਦੇਣਗੀਆਂ