เมื่อวันที่ 25 มกราคม 2024 เราได้เปิดตัวโมเดล Embedding ใหม่ 2 รุ่น ได้แก่ text-embedding-3-small และ text-embedding-3-large นี่คือโมเดล Embedding รุ่นใหม่ล่าสุดและมีประสิทธิภาพสูงสุดของเรา โดยมีค่าใช้จ่ายต่ำลง รองรับหลายภาษาได้ดียิ่งขึ้น และมีพารามิเตอร์ใหม่สำหรับย่อ Embedding ให้สั้นลง อ่านเพิ่มเติม
โมเดล embedding รุ่นล่าสุดแตกต่างอย่างไร
โมเดล v3 ล่าสุดของเราให้ประสิทธิภาพที่ดีกว่าบนเบนช์มาร์กทั่วไปในราคาที่ต่ำลง คุณสามารถอ่านเพิ่มเติมเกี่ยวกับการปรับปรุงประสิทธิภาพได้ในบล็อกโพสต์ประกาศและเอกสารสำหรับนักพัฒนา
ฉันจะทราบได้อย่างไรว่าสตริงจะมี Token กี่รายการก่อนที่จะนำไปทำ embedding?
คุณสามารถใช้แพ็กเกจ Tiktoken ของ OpenAIเพื่อตรวจสอบว่าสตริงจะมี Token กี่รายการ ดูข้อมูลเพิ่มเติมในคู่มือนักพัฒนาเกี่ยวกับ embeddingsของเรา
ฉันจะดึงเวกเตอร์ embedding ที่ใกล้ที่สุดจำนวน K รายการอย่างรวดเร็วได้อย่างไร
สำหรับการค้นหาในเวกเตอร์จำนวนมากอย่างรวดเร็ว เราขอแนะนำให้ใช้ฐานข้อมูลเวกเตอร์
ฉันควรใช้ฟังก์ชันระยะทางแบบใด
โดยค่าเริ่มต้น เอาต์พุต embedding ของ OpenAI API จะถูกทำ normalization แบบ L2 ให้มีความยาว 1 รวมถึงหลังจากย่อด้วยพารามิเตอร์ dimensions ซึ่งหมายความว่า:
embeddings ของ OpenAI ถูก normalize ให้มีความยาว 1 ซึ่งหมายความว่า:
สามารถคำนวณความคล้ายคลึงแบบโคไซน์ได้เร็วขึ้นเล็กน้อยโดยใช้เพียง dot product
ความคล้ายคลึงแบบโคไซน์และระยะทางแบบยูคลิดจะให้การจัดอันดับที่เหมือนกัน