Logit_bias എന്നത്, വ്യക്തമാക്കിയ ടോക്കണുകൾ ഒരു മോഡൽ സൃഷ്ടിച്ച ഔട്ട്പുട്ടിൽ പ്രത്യക്ഷപ്പെടാനുള്ള സാധ്യത മാറ്റുന്ന ഒരു ഐച്ഛിക പാരാമീറ്ററാണ്.
ഈ പാരാമീറ്റർ ടോക്കണുകളെ അവയുമായി ബന്ധപ്പെട്ട ബയസ് മൂല്യത്തിലേക്ക് മാപ്പ് ചെയ്യുന്ന ഒരു JSON ഒബ്ജക്റ്റ് സ്വീകരിക്കുന്നു; മൂല്യം -100 മുതൽ (മിക്ക സാഹചര്യങ്ങളിലും ആ ടോക്കൺ സൃഷ്ടിക്കപ്പെടുന്നത് തടയും) 100 വരെ (ടോക്കണിന്റെ പ്രത്യേക തിരഞ്ഞെടുപ്പ്, ഇത് സൃഷ്ടിക്കപ്പെടാനുള്ള സാധ്യത വർധിപ്പിക്കുന്നു) ആയിരിക്കും. -1, 1 പോലുള്ള മിതമായ മൂല്യങ്ങൾ ഒരു ടോക്കൺ തിരഞ്ഞെടുക്കപ്പെടാനുള്ള സാധ്യതയെ ചെറിയ തോതിൽ മാറ്റും.
പാരാമീറ്റർ എടുക്കുന്നത് ടെക്സ്റ്റ് അല്ല, ടോക്കണുകളായതിനാൽ, ടെക്സ്റ്റിനെ ടോക്കൺ ID-കളാക്കി മാറ്റാൻ ഒരു ടോക്കനൈസർ ഉപകരണം ഉപയോഗിക്കണം. ചില ഉദാഹരണങ്ങൾ നോക്കാം.
ഉദാഹരണം 1: “time” നീക്കം ചെയ്യുക
Completions എൻഡ്പോയിന്റിനെ “Once upon a,” എന്ന പ്രോംപ്റ്റ് ഉപയോഗിച്ച് വിളിച്ചാൽ, പൂർത്തീകരണം “ time.” എന്നതോടെ തുടങ്ങാനുള്ള സാധ്യത വളരെ കൂടുതലാണ്.
“time” എന്ന വാക്ക് ID 2435 ആയി ടോക്കനൈസ് ചെയ്യപ്പെടുന്നു, കൂടാതെ “ time” എന്ന വാക്ക് (തുടക്കത്തിൽ ഒരു സ്പേസ് ഉള്ളത്) ID 640 ആയി ടോക്കനൈസ് ചെയ്യപ്പെടുന്നു. പൂർത്തീകരണത്തിൽ അവ പ്രത്യക്ഷപ്പെടുന്നത് തടയാൻ logit_bias വഴി -100 ഉപയോഗിച്ച് ഇവ പാസ് ചെയ്യാം, ഇങ്ങനെ:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)ഇപ്പോൾ, “ഒരിക്കൽ ഒരു” എന്ന പ്രോംപ്റ്റ്, “വിഷാദഭരിതമായ ഒരു അർധരാത്രിയിൽ, ദുർബലനും ക്ഷീണിതനുമായി ഞാൻ ചിന്തിച്ചിരിക്കെ” എന്ന പൂർത്തീകരണം സൃഷ്ടിക്കുന്നു.
“സമയം” എന്ന വാക്ക് ഇതിൽ എവിടെയും കാണാനില്ല. കാരണം, logit_bias ഉപയോഗിച്ച് ആ ടോക്കൺ നമ്മൾ ഫലപ്രദമായി നിരോധിച്ചിരിക്കുന്നു.
ഉദാഹരണം 2: ലക്ഷ്യമിട്ട ലോഗിറ്റ് ബയസ് മൂല്യങ്ങൾ ഉപയോഗിച്ച് ദിശ നൽകൽ
പാചകക്കുറിപ്പ് സൃഷ്ടിക്കുന്ന ഒരു പ്രോംപ്റ്റ് ഉപയോഗിച്ചുള്ള മറ്റൊരു ഉദാഹരണം നോക്കാം.
പല പാചകക്കുറിപ്പുകളും ചട്ടികൾ ഉപയോഗിക്കാൻ നിർദേശിക്കുന്നു. എന്നാൽ, നമ്മുടെ പക്കൽ ചട്ടി ഇല്ലെന്ന് കരുതുക. നമ്മുടെ പൂർത്തീകരണത്തിന്റെ ഭാഗമായി “ചട്ടി” എന്ന വാക്ക് സൃഷ്ടിക്കപ്പെടുന്നത് ഒഴിവാക്കണം. “ചട്ടി” എന്നത് ടോക്കണാക്കുമ്പോൾ ലഭിക്കുന്നത് 1787 ആണ്. അതിനാൽ, താഴെ കാണുന്നതുപോലെ logit_bias സജ്ജീകരിച്ച് അത് സൃഷ്ടിക്കപ്പെടുന്നത് ഒഴിവാക്കാം.
logit_bias={1787:-100}ഇപ്പോൾ, ഞങ്ങളുടെ പൂർത്തീകരണത്തിൽ പകരം “saucepan” എന്ന വാക്ക് ഉൾപ്പെടാം. മികവാർന്നത്!
ഉദാഹരണം 3: ഒരു വാക്ക് പ്രത്യക്ഷപ്പെടാനുള്ള സാധ്യത വർധിപ്പിക്കൽ
ഒരു വാക്ക് പ്രത്യക്ഷപ്പെടാനുള്ള സാധ്യത വർധിപ്പിക്കണമെന്ന് കരുതുക.
ഉദാഹരണത്തിന്, മൈക്രോവേവ് ഉപയോഗിച്ച് തയ്യാറാക്കാവുന്ന വിഭവങ്ങളുടെ പാചകക്കുറിപ്പുകൾ നൽകുന്ന ഒരു സൈറ്റ് നമ്മൾ നടത്തുകയാണെന്ന് കരുതുക. അതിനാൽ, പാചകക്കുറിപ്പിൽ “മൈക്രോവേവ്” എന്ന വാക്ക് ഉണ്ടെന്ന് ഉറപ്പാക്കണം. “മൈക്രോവേവ്” എന്നത് ടോക്കണാക്കുമ്പോൾ ലഭിക്കുന്ന ഐഡി 27000 ആണ്. താഴെ കാണുന്നതുപോലെ, പോസിറ്റീവ് logit_bias സജ്ജീകരിച്ച് ഈ ടോക്കൺ പ്രത്യക്ഷപ്പെടാനുള്ള സാധ്യത വർധിപ്പിക്കാം:
logit_bias={27000:5}ഇപ്പോൾ, നമ്മുടെ പൂർത്തീകരണത്തിൽ “മൈക്രോവേവ്” എന്ന വാക്ക് ഉൾപ്പെടാനുള്ള സാധ്യത കൂടുതലാണ്.
നമ്മൾ logit_bias 5 ആയി സജ്ജീകരിച്ചു. കാരണം, logit_bias 1 ആയി സജ്ജീകരിച്ചപ്പോൾ പൂർത്തീകരണത്തിൽ “മൈക്രോവേവ്” എന്ന വാക്ക് പലപ്പോഴും വന്നില്ല. അതേസമയം, logit_bias 10 പോലുള്ള ഉയർന്ന മൂല്യങ്ങൾ നൽകിയപ്പോൾ പൂർത്തീകരണത്തിൽ “ മൈക്രോവേവ്” എന്ന വാക്ക് അമിതമായി വന്നു.