Le 25 janvier 2024, nous avons publié deux nouveaux modèles d’embeddings : text-embedding-3-small et text-embedding-3-large. Ce sont nos modèles d’embeddings les plus récents et les plus performants, avec des coûts réduits, de meilleures performances multilingues et un nouveau paramètre pour raccourcir les embeddings. En savoir plus.
Qu’est-ce qui distingue les derniers modèles d’embeddings ?
Nos plus récents modèles v3 offrent de meilleures performances sur les tests de référence courants à prix réduit. Vous pouvez en savoir plus sur les améliorations de performance dans le billet de blogue d’annonce et la documentation pour les développeurs.
Comment savoir combien de tokens une chaîne contiendra avant d’essayer de générer son embedding ?
Vous pouvez utiliser le paquet Tiktoken d’OpenAI pour vérifier combien de tokens une chaîne contiendra. Apprenez-en plus dans notre guide pour développeurs sur les embeddings.
Comment récupérer rapidement les K vecteurs d’embedding les plus proches ?
Pour effectuer rapidement des recherches parmi de nombreux vecteurs, nous recommandons d’utiliser une base de données vectorielle.
Quelle fonction de distance dois-je utiliser ?
Les sorties d’embeddings de l’API OpenAI sont normalisées L2 à une longueur de 1 par défaut, y compris après leur raccourcissement avec le paramètre dimensions, ce qui signifie que :
Les embeddings d’OpenAI sont normalisés à une longueur de 1, ce qui signifie que :
La similarité cosinus peut être calculée un peu plus rapidement à l’aide d’un simple produit scalaire
La similarité cosinus et la distance euclidienne produiront des classements identiques