2024 оны 1-р сарын 25-нд бид text-embedding-3-small болон text-embedding-3-large гэсэн хоёр шинэ эмбеддинг загварыг гаргалаа. Эдгээр нь зардал багатай, олон хэл дээр илүү өндөр гүйцэтгэлтэй бөгөөд эмбеддингийг богиносгох шинэ параметр бүхий манай хамгийн сүүлийн үеийн, хамгийн өндөр гүйцэтгэлтэй эмбеддинг загварууд юм. Дэлгэрэнгүй унших.
Сүүлийн үеийн эмбеддингийн загваруудад юу өөрчлөгдсөн бэ?
Манай хамгийн сүүлийн v3 загварууд нийтлэг бенчмаркууд дээр илүү өндөр гүйцэтгэлийг бага үнээр олгодог. Гүйцэтгэлийн сайжруулалтын талаар зарлалын блог нийтлэл болон хөгжүүлэгчийн баримт бичгээс дэлгэрэнгүй уншиж болно.
Мөрийг эмбед хийхээсээ өмнө хэдэн токентой болохыг яаж мэдэх вэ?
Мөр хэдэн токентой болохыг шалгахын тулд OpenAI-ийн Tiktoken багцыг ашиглаж болно. Манай эмбеддингийн хөгжүүлэгчийн гарын авлагаас дэлгэрэнгүй үзнэ үү.
Хамгийн ойрын K эмбеддингийн векторыг хэрхэн хурдан олох вэ?
Олон вектор дундаас хурдан хайхын тулд вектор өгөгдлийн сан ашиглахыг зөвлөж байна.
Аль зайн функцийг ашиглах вэ?
OpenAI API-ийн эмбеддингийн гаралтууд нь dimensions параметрээр богиносгосны дараа ч анхдагчаар урт нь 1 байхаар L2-нормчлогддог. Энэ нь:
OpenAI эмбеддингууд урт нь 1 байхаар нормчлогддог. Энэ нь:
Косинусын төстэй байдлыг зөвхөн скаляр үржвэр ашиглан арай хурдан тооцоолж болно
Косинусын төстэй байдал болон Евклидийн зай ижил эрэмбэлэлт гаргана