Em 25 de janeiro de 2024, lançamos dois novos modelos de embedding: text-embedding-3-small e text-embedding-3-large. Estes são nossos modelos de embedding mais novos e de melhor desempenho, com custos menores, maior desempenho multilíngue e um novo parâmetro para encurtar embeddings. Leia mais.
O que há de diferente nos modelos de embedding mais recentes?
Nossos modelos v3 mais recentes oferecem desempenho superior em benchmarks comuns por um preço reduzido. Você pode ler mais sobre as melhorias de desempenho no post de anúncio no blog e na documentação para desenvolvedores.
Como posso saber quantos tokens uma string terá antes de tentar gerar seu embedding?
Você pode usar o pacote Tiktoken da OpenAI para verificar quantos tokens uma string terá. Saiba mais em nosso guia de embeddings para desenvolvedores.
Como posso recuperar rapidamente os K vetores de embedding mais próximos?
Para pesquisar rapidamente em muitos vetores, recomendamos usar um banco de dados vetorial.
Qual função de distância devo usar?
Por padrão, as saídas de embeddings da API da OpenAI são normalizadas por L2 para comprimento 1, inclusive após a redução com o parâmetro dimensions, o que significa que:
Os embeddings da OpenAI são normalizados para comprimento 1, o que significa que:
A similaridade de cosseno pode ser calculada um pouco mais rapidamente usando apenas um produto escalar
A similaridade de cosseno e a distância euclidiana resultarão em classificações idênticas