Dne 25. ledna 2024 jsme vydali dva nové modely pro vektorové reprezentace: text-embedding-3-small a text-embedding-3-large. Jde o naše nejnovější a nejvýkonnější modely pro vektorové reprezentace, které nabízejí nižší náklady, vyšší výkon ve více jazycích a nový parametr pro zkracování vektorových reprezentací. Další informace.
V čem se liší nejnovější modely embeddingů?
Naše nejnovější modely v3 poskytují vyšší výkon v běžných benchmarcích za nižší cenu. Více o zlepšeních výkonu si můžete přečíst v oznamovacím příspěvku na blogu a vývojářské dokumentaci.
Jak zjistím, kolik tokenů bude mít řetězec, než ho zkusím vložit do embeddingu?
Ke kontrole, kolik tokenů bude řetězec mít, můžete použít balíček Tiktoken od OpenAI. Další informace najdete v našem vývojářském průvodci embeddingy.
Jak mohu rychle načíst K nejbližších embeddingových vektorů?
Pro rychlé vyhledávání v mnoha vektorech doporučujeme použít vektorovou databázi.
Jakou funkci vzdálenosti mám použít?
Výstupy embeddingů OpenAI API jsou ve výchozím nastavení L2-normalizované na délku 1, a to i po zkrácení pomocí parametru dimensions, což znamená, že:
Embeddingy OpenAI jsou normalizované na délku 1, což znamená, že:
Kosinusovou podobnost lze vypočítat o něco rychleji jen pomocí skalárního součinu
Kosinusová podobnost a eukleidovská vzdálenost povedou ke stejnému pořadí