Logit_bias એક વૈકલ્પિક પેરામીટર છે જે મોડલ દ્વારા જનરેટ થયેલા આઉટપુટમાં નિર્દિષ્ટ ટોકન દેખાવાની સંભાવનામાં ફેરફાર કરે છે.
આ પેરામીટર JSON ઑબ્જેક્ટ સ્વીકારે છે, જે ટોકનને -100 (જે મોટાભાગના કિસ્સામાં તે ટોકન જનરેટ થતું રોકશે) થી 100 (ટોકનની વિશિષ્ટ પસંદગી, જેના કારણે તે જનરેટ થવાની શક્યતા વધારે બને છે) સુધીના સંબંધિત બાયસ મૂલ્ય સાથે મેપ કરે છે. -1 અને 1 જેવા મધ્યમ મૂલ્યો ટોકન પસંદ થવાની સંભાવનામાં ઓછી માત્રામાં ફેરફાર કરશે.
પેરામીટર ટેક્સ્ટ નહીં, પરંતુ ટોકન લે છે, તેથી ટેક્સ્ટને ટોકન ID માં રૂપાંતરિત કરવા માટે તમારે ટોકનાઇઝર ટૂલ નો ઉપયોગ કરવો પડશે. ચાલો થોડાં ઉદાહરણો જોઈએ.
ઉદાહરણ 1: “time” દૂર કરો
જો આપણે Completions એન્ડપોઇન્ટને “Once upon a,” પ્રોમ્પ્ટ સાથે કૉલ કરીએ, તો કમ્પ્લીશન “ time” થી શરૂ થાય તેવી શક્યતા ઘણી વધારે છે.
“time” શબ્દ ID 2435 તરીકે ટોકનાઇઝ થાય છે અને “ time” શબ્દ (જેની શરૂઆતમાં સ્પેસ છે) ID 640 તરીકે ટોકનાઇઝ થાય છે. તેમને કમ્પ્લીશનમાં દેખાતા અટકાવવા માટે આપણે -100 સાથે logit_bias મારફતે પાસ કરી શકીએ છીએ, આ રીતે:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "તમે વપરાશકર્તાના વાક્યો પૂર્ણ કરો છો."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)હવે, પ્રોમ્પ્ટ “એક વખત”થી “ઉદાસ મધરાતે, જ્યારે હું અશક્ત અને થાકેલો વિચારમગ્ન હતો.” એવું પૂર્ણ લખાણ ઉત્પન્ન થાય છે.
નોંધ લો કે તેમાં “સમય” શબ્દ ક્યાંય નથી, કારણ કે આપણે logit_biasનો ઉપયોગ કરીને એ ટોકન પર અસરકારક રીતે પ્રતિબંધ મૂક્યો છે.
ઉદાહરણ 2: લક્ષિત લૉજિટ બાયસ મૂલ્યોથી દિશા આપો
ચાલો, વાનગી તૈયાર કરાવવાના પ્રોમ્પ્ટનો ઉપયોગ કરીને બીજું ઉદાહરણ જોઈએ.
ઘણી વાનગીઓમાં તપેલી વાપરવાનું સૂચવવામાં આવે છે, પણ ધારો કે આપણી પાસે તપેલી નથી. આપણા પૂર્ણ લખાણમાં “તપેલી” શબ્દ ઉત્પન્ન ન થાય એવું કરવું પડશે. “તપેલી”નું ટોકનાઇઝેશન 1787 તરીકે થાય છે, તેથી નીચે મુજબ logit_bias સેટ કરીને આપણે તેને ઉત્પન્ન થતા અટકાવી શકીએ છીએ.
logit_bias={1787:-100}હવે, તેના બદલે અમારા કમ્પ્લીશનમાં “saucepan” શબ્દ સામેલ થઈ શકે છે. પરફેક્ટ!
ઉદાહરણ 3: કોઈ શબ્દ આવવાની સંભાવના વધારો
ધારો કે આપણે કોઈ શબ્દ આવવાની સંભાવના વધારવા માગીએ છીએ.
ઉદાહરણ તરીકે, કદાચ આપણે એવી વેબસાઇટ ચલાવીએ છીએ જે માઇક્રોવેવમાં બનાવી શકાય એવી વાનગીઓ આપે છે, તેથી આપણે વાનગીમાં “માઇક્રોવેવ” શબ્દ ચોક્કસ આવે એવું ઇચ્છીએ છીએ. “માઇક્રોવેવ”નું ટોકનાઇઝેશન ID 27000 તરીકે થાય છે. હકારાત્મક logit_bias આ રીતે સેટ કરીને આપણે આ ટોકન આવવાની સંભાવના વધારી શકીએ છીએ:
logit_bias={27000:5}હવે, આપણા પૂર્ણ લખાણમાં “માઇક્રોવેવ” શબ્દ આવવાની શક્યતા વધુ છે.
અમે logit_biasને 5 પર સેટ કર્યો, કારણ કે logit_biasને 1 પર સેટ કરતાં પૂર્ણ લખાણમાં ઘણી વાર “માઇક્રોવેવ” શબ્દ આવતો ન હતો, જ્યારે 10 જેવા ઊંચા logit_bias મૂલ્યોને કારણે પૂર્ણ લખાણમાં “ માઇક્રોવેવ” શબ્દ ઘણી વાર આવતો હતો.