Le 25 janvier 2024, nous avons publié deux nouveaux modèles d’embedding : text-embedding-3-small et text-embedding-3-large. Il s’agit de nos modèles d’embedding les plus récents et les plus performants, avec des coûts réduits, de meilleures performances multilingues et un nouveau paramètre pour raccourcir les embeddings. En savoir plus.
Qu’est-ce qui différencie les derniers modèles d’embedding ?
Nos derniers modèles v3 offrent de meilleures performances sur les benchmarks courants, à un prix réduit. Vous pouvez en savoir plus sur les améliorations de performance dans le billet de blog d’annonce et la documentation destinée aux développeurs.
Comment savoir combien de tokens une chaîne contiendra avant d’essayer d’en générer l’embedding ?
Vous pouvez utiliser le package Tiktoken d’OpenAI pour vérifier combien de tokens une chaîne contiendra. Pour en savoir plus, consultez notre guide développeur sur les embeddings.
Comment récupérer rapidement les K vecteurs d’embedding les plus proches ?
Pour effectuer rapidement des recherches parmi de nombreux vecteurs, nous recommandons d’utiliser une base de données vectorielle.
Quelle fonction de distance dois-je utiliser ?
Les sorties d’embedding de l’API OpenAI sont normalisées L2 à une longueur de 1 par défaut, y compris après réduction avec le paramètre dimensions, ce qui signifie que :
Les embeddings OpenAI sont normalisés à une longueur de 1, ce qui signifie que :
La similarité cosinus peut être calculée légèrement plus vite avec un simple produit scalaire
La similarité cosinus et la distance euclidienne donneront des classements identiques