Dne 25. ledna 2024 jsme vydali dva nové modely embeddingů: text-embedding-3-small a text-embedding-3-large. Jedná se o naše nejnovější a nejvýkonnější modely embeddingů s nižšími náklady, vyšším vícejazyčným výkonem a novým parametrem pro zkracování embeddingů. Přečtěte si více.
V čem se liší nejnovější modely embeddingů?
Naše nejnovější modely v3 poskytují vyšší výkon v běžných benchmarcích za nižší cenu. Více o zlepšeních výkonu si můžete přečíst v oznamovacím příspěvku na blogu a vývojářské dokumentaci.
Jak zjistím, kolik tokenů bude mít řetězec, než ho zkusím vložit do embeddingu?
Ke kontrole, kolik tokenů bude řetězec mít, můžete použít balíček Tiktoken od OpenAI. Další informace najdete v našem vývojářském průvodci embeddingy.
Jak mohu rychle načíst K nejbližších embeddingových vektorů?
Pro rychlé vyhledávání v mnoha vektorech doporučujeme použít vektorovou databázi.
Jakou funkci vzdálenosti mám použít?
Výstupy embeddingů OpenAI API jsou ve výchozím nastavení L2-normalizované na délku 1, a to i po zkrácení pomocí parametru dimensions, což znamená, že:
Embeddingy OpenAI jsou normalizované na délku 1, což znamená, že:
Kosinusovou podobnost lze vypočítat o něco rychleji jen pomocí skalárního součinu
Kosinusová podobnost a eukleidovská vzdálenost povedou ke stejnému pořadí