2024 ജനുവരി 25-ന് ഞങ്ങൾ രണ്ട് പുതിയ എംബെഡിംഗ് മോഡലുകൾ പുറത്തിറക്കി: text-embedding-3-smallയും text-embedding-3-largeയും. കുറഞ്ഞ ചെലവ്, ഉയർന്ന ബഹുഭാഷാ പ്രകടനം, എംബെഡിംഗുകൾ ചുരുക്കുന്നതിനുള്ള പുതിയ പാരാമീറ്റർ എന്നിവയുള്ള ഞങ്ങളുടെ ഏറ്റവും പുതിയതും ഏറ്റവും മികച്ച പ്രകടനമുള്ളതുമായ എംബെഡിംഗ് മോഡലുകളാണിവ. കൂടുതൽ വായിക്കുക.
ഏറ്റവും പുതിയ എംബെഡിംഗ് മോഡലുകളിൽ എന്താണ് വ്യത്യാസം.
ഞങ്ങളുടെ ഏറ്റവും പുതിയ v3 മോഡലുകൾ കുറഞ്ഞ വിലയിൽ സാധാരണ ബെഞ്ച്മാർക്കുകളിൽ കൂടുതൽ ശക്തമായ പ്രകടനം നൽകുന്നു. പ്രകടന മെച്ചപ്പെടുത്തലുകളെക്കുറിച്ച് പ്രഖ്യാപന ബ്ലോഗ് പോസ്റ്റിലും ഡെവലപ്പർ ഡോക്യുമെന്റേഷനിലും കൂടുതൽ വായിക്കാം.
ഒരു സ്ട്രിംഗ് എംബെഡ് ചെയ്യുന്നതിന് മുമ്പ് അതിൽ എത്ര ടോക്കണുകൾ ഉണ്ടാകുമെന്ന് എങ്ങനെ അറിയാം.
ഒരു സ്ട്രിംഗിന് എത്ര ടോക്കണുകൾ ഉണ്ടാകുമെന്ന് പരിശോധിക്കാൻ OpenAI-യുടെ Tiktoken പാക്കേജ് ഉപയോഗിക്കാം. ഞങ്ങളുടെ എംബെഡിംഗ്സ് ഡെവലപ്പർ ഗൈഡിൽ കൂടുതലറിയുക.
K ഏറ്റവും അടുത്ത എംബെഡിംഗ് വെക്ടറുകൾ വേഗത്തിൽ എങ്ങനെ വീണ്ടെടുക്കാം.
അനവധി വെക്ടറുകളിൽ വേഗത്തിൽ തിരയാൻ, ഒരു വെക്ടർ ഡാറ്റാബേസ് ഉപയോഗിക്കാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു.
ഏത് ദൂര ഫംഗ്ഷൻ ആണ് ഉപയോഗിക്കേണ്ടത്.
OpenAI API എംബെഡിംഗ് ഔട്ട്പുട്ടുകൾ ഡിഫോൾട്ടായി നീളം 1 ആയി L2-നോർമലൈസ് ചെയ്തതാണ്; dimensions പാരാമീറ്റർ ഉപയോഗിച്ച് ചുരുക്കിയ ശേഷവും അതുപോലെ തന്നെയാണ്. അതായത്:
OpenAI എംബെഡിംഗുകൾ നീളം 1 ആയി നോർമലൈസ് ചെയ്തിരിക്കുന്നു, അതായത്:
ഒരു ഡോട്ട് പ്രോഡക്റ്റ് മാത്രം ഉപയോഗിച്ച് കോസൈൻ സാമ്യം അല്പം വേഗത്തിൽ കണക്കാക്കാം
കോസൈൻ സാമ്യവും യൂക്ലിഡിയൻ ദൂരവും ഒരേ റാങ്കിംഗുകൾ നൽകും