Logit_bias એક વૈકલ્પિક પેરામીટર છે જે મોડલ દ્વારા જનરેટ થયેલા આઉટપુટમાં નિર્દિષ્ટ ટોકન દેખાવાની સંભાવનામાં ફેરફાર કરે છે.
આ પેરામીટર JSON ઑબ્જેક્ટ સ્વીકારે છે, જે ટોકનને -100 (જે મોટાભાગના કિસ્સામાં તે ટોકન જનરેટ થતું રોકશે) થી 100 (ટોકનની વિશિષ્ટ પસંદગી, જેના કારણે તે જનરેટ થવાની શક્યતા વધારે બને છે) સુધીના સંબંધિત બાયસ મૂલ્ય સાથે મેપ કરે છે. -1 અને 1 જેવા મધ્યમ મૂલ્યો ટોકન પસંદ થવાની સંભાવનામાં ઓછી માત્રામાં ફેરફાર કરશે.
પેરામીટર ટેક્સ્ટ નહીં, પરંતુ ટોકન લે છે, તેથી ટેક્સ્ટને ટોકન ID માં રૂપાંતરિત કરવા માટે તમારે ટોકનાઇઝર ટૂલ નો ઉપયોગ કરવો પડશે. ચાલો થોડાં ઉદાહરણો જોઈએ.
ઉદાહરણ 1: “time” દૂર કરો
જો આપણે Completions એન્ડપોઇન્ટને “Once upon a,” પ્રોમ્પ્ટ સાથે કૉલ કરીએ, તો કમ્પ્લીશન “ time” થી શરૂ થાય તેવી શક્યતા ઘણી વધારે છે.
“time” શબ્દ ID 2435 તરીકે ટોકનાઇઝ થાય છે અને “ time” શબ્દ (જેની શરૂઆતમાં સ્પેસ છે) ID 640 તરીકે ટોકનાઇઝ થાય છે. તેમને કમ્પ્લીશનમાં દેખાતા અટકાવવા માટે આપણે -100 સાથે logit_bias મારફતે પાસ કરી શકીએ છીએ, આ રીતે:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "તમે વપરાશકર્તાના વાક્યો પૂર્ણ કરો છો."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)હવે, “Once upon a” પ્રોમ્પ્ટ “midnight dreary, while I pondered, weak and weary.” કમ્પ્લીશન જનરેટ કરે છે.
ધ્યાન આપો કે “time” શબ્દ ક્યાંય દેખાતો નથી, કારણ કે અમે logit_bias નો ઉપયોગ કરીને તે ટોકનને અસરકારક રીતે પ્રતિબંધિત કર્યો છે.
ઉદાહરણ 2: લક્ષિત logit bias મૂલ્યો સાથે દિશા આપો
ચાલો રેસિપી જનરેટર પ્રોમ્પ્ટનો ઉપયોગ કરીને બીજું ઉદાહરણ જોઈએ.
ઘણી રેસિપી પોટ્સનો ઉપયોગ કરવાની સલાહ આપે છે, પરંતુ ધારો કે આપણી પાસે પોટ નથી. અમે અમારા કમ્પ્લીશનના ભાગ રૂપે જનરેટ થતો “pot” શબ્દ દૂર કરવા માંગીએ છીએ. “Pot” 1787 તરીકે ટોકનાઇઝ થાય છે, તેથી નીચે મુજબ અમારો logit_bias સેટ કરીને અમે તેને અમારી જનરેશનમાંથી દૂર કરી શકીએ છીએ.
logit_bias={1787:-100}હવે, તેના બદલે અમારા કમ્પ્લીશનમાં “saucepan” શબ્દ સામેલ થઈ શકે છે. પરફેક્ટ!
ઉદાહરણ 3: કોઈ શબ્દ દેખાવાની શક્યતા વધારો
ધારો કે આપણે કોઈ શબ્દ દેખાવાની સંભાવના વધારવા માંગીએ છીએ.
ઉદાહરણ તરીકે, કદાચ અમે એવી સાઇટ ચલાવી રહ્યા છીએ જે માઇક્રોવેવથી બનાવી શકાય તેવી રેસિપી આપે છે, તેથી અમે ખાતરી કરવા માંગીએ છીએ કે રેસિપીમાં “microwave” શબ્દ દેખાય. Microwave ID 27000 તરીકે ટોકનાઇઝ થાય છે. પોઝિટિવ logit_bias સેટ કરીને આપણે આ ટોકન દેખાવાની સંભાવના વધારી શકીએ છીએ, આ રીતે:
logit_bias={27000:5}હવે, અમારા કમ્પ્લીશનમાં “microwave” શબ્દ સામેલ થવાની શક્યતા વધારે છે.
અમે logit_bias ને 5 પર સેટ કર્યું, કારણ કે અમને જણાયું કે logit_bias ને 1 પર સેટ કરવાથી ઘણી વાર કમ્પ્લીશનમાં “microwave” શબ્દ દેખાતો નહોતો, જ્યારે 10 જેવા વધુ logit_bias મૂલ્યોને કારણે કમ્પ્લીશનમાં “ microwave” શબ્દ બહુ વાર દેખાતો હતો.