Logit_bias ni kigezo cha hiari kinachobadilisha uwezekano wa tokeni maalum kuonekana katika matokeo yanayozalishwa na muundo.
Kigezo hiki hukubali objekti ya JSON inayolinganishisha tokeni na thamani husika ya upendeleo kuanzia -100 (ambayo katika hali nyingi itazuia tokeni hiyo isizalishwe) hadi 100 (uchaguzi wa kipekee wa tokeni, unaoifanya iwe na uwezekano zaidi wa kuzalishwa). Thamani za wastani kama -1 na 1 zitabadilisha uwezekano wa tokeni kuchaguliwa kwa kiwango kidogo zaidi.
Kwa kuwa kigezo hupokea tokeni, si maandishi, utahitaji kutumia zana ya kugawa tokeni ili kubadilisha maandishi kuwa vitambulisho vya tokeni. Hebu tupitie mifano michache.
Mfano 1: Ondoa 'time'
Tukiita mwisho wa Completions kwa dokeza “Once upon a,” ukamilishaji huenda sana utaanza kwa “ time.”
Neno “time” hugawanywa tokeni na kuwa kitambulisho 2435, na neno “ time” (lenye nafasi mwanzoni) hugawanywa tokeni na kuwa kitambulisho 640. Tunaweza kuyapitisha kupitia logit_bias yenye -100 ili kuyazuia yasionekane katika ukamilishaji, kama ifuatavyo:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Unakamilisha sentensi za mtumiaji."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Sasa, dokeza “Once upon a” huzalisha ukamilishaji “midnight dreary, while I pondered, weak and weary.”
Kumbuka kuwa neno “time” halipo kabisa, kwa sababu tumepiga marufuku tokeni hiyo kupitia logit_bias.
Mfano wa 2: Kutoa mwelekeo kwa thamani mahususi za logit bias
Hebu tuangalie mfano mwingine kwa kutumia dokeza la zana ya kutengeneza mapishi.
Mapishi mengi hupendekeza kutumia sufuria, lakini tuseme hatuna sufuria. Tutahitaji kuzuia neno pot lisizalishwe kama sehemu ya ukamilishaji wetu. 'Pot' hugawanywa kuwa tokeni yenye ID 1787, kwa hivyo tunaweza kuliondoa katika matini inayozalishwa kwa kuweka logit_bias kama ilivyo hapa chini.
logit_bias={1787:-100}Sasa, ukamilishaji wetu unaweza kujumuisha neno “saucepan” badala yake. Vizuri kabisa!
Mfano wa 3: Kuongeza uwezekano wa neno kutokea
Tuseme tunataka kuongeza uwezekano wa neno fulani kutokea.
Kwa mfano, huenda tunaendesha tovuti inayotoa mapishi yanayoweza kupikwa kwa tanuri ya microwave, kwa hivyo tunataka kuhakikisha kuwa neno “microwave” linatokea katika mapishi. Microwave hugawanywa kuwa tokeni yenye ID 27000. Tunaweza kuongeza uwezekano wa tokeni hii kutokea kwa kuweka logit_bias chanya, kama ifuatavyo:
logit_bias={27000:5}Sasa, kuna uwezekano mkubwa zaidi kwamba ukamilishaji wetu utajumuisha neno 'microwave'.
Tuliweka logit_bias kuwa 5, kwa kuwa tuligundua kuwa kuiweka logit_bias kuwa 1 mara nyingi hakukufanya neno “microwave” litokee katika ukamilishaji, ilhali thamani za juu zaidi za logit_bias, kama 10, zilifanya neno “ microwave” litokee mara nyingi kupita kiasi.