Logit_bias ni kigezo cha hiari kinachobadilisha uwezekano wa tokeni maalum kuonekana katika matokeo yanayozalishwa na muundo.
Kigezo hiki hukubali objekti ya JSON inayolinganishisha tokeni na thamani husika ya upendeleo kuanzia -100 (ambayo katika hali nyingi itazuia tokeni hiyo isizalishwe) hadi 100 (uchaguzi wa kipekee wa tokeni, unaoifanya iwe na uwezekano zaidi wa kuzalishwa). Thamani za wastani kama -1 na 1 zitabadilisha uwezekano wa tokeni kuchaguliwa kwa kiwango kidogo zaidi.
Kwa kuwa kigezo hupokea tokeni, si maandishi, utahitaji kutumia zana ya kugawa tokeni ili kubadilisha maandishi kuwa vitambulisho vya tokeni. Hebu tupitie mifano michache.
Mfano 1: Ondoa 'time'
Tukiita mwisho wa Completions kwa dokeza “Once upon a,” ukamilishaji huenda sana utaanza kwa “ time.”
Neno “time” hugawanywa tokeni na kuwa kitambulisho 2435, na neno “ time” (lenye nafasi mwanzoni) hugawanywa tokeni na kuwa kitambulisho 640. Tunaweza kuyapitisha kupitia logit_bias yenye -100 ili kuyazuia yasionekane katika ukamilishaji, kama ifuatavyo:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Unakamilisha sentensi za mtumiaji."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Sasa, dokeza “Once upon a” huzalisha ukamilishaji “midnight dreary, while I pondered, weak and weary.”
Tambua kuwa neno “time” halipatikani popote, kwa sababu tumezuia tokeni hiyo kwa ufanisi kwa kutumia logit_bias.
Mfano 2: Toa mwelekeo kwa thamani lengwa za logit bias
Hebu tupitie mfano mwingine, tukitumia dokeza la kizalisha mapishi.
Mapishi mengi hupendekeza kutumia vyungu, lakini tuchukulie hatuna chungu. Tutataka kuondoa neno pot lisizalishwe kama sehemu ya ukamilishaji wetu. 'Pot' hugawanywa tokeni na kuwa 1787, kwa hivyo tunaweza kuliondoa kwenye uzalishaji wetu kwa kuweka logit_bias yetu kama ilivyo hapa chini.
logit_bias={1787:-100}Sasa, ukamilishaji wetu unaweza kujumuisha neno “saucepan” badala yake. Vizuri kabisa!
Mfano 3: Ongeza uwezekano wa neno kuonekana
Tuchukulie kuwa tunataka kuongeza uwezekano wa neno kuonekana.
Kwa mfano, labda tunaendesha tovuti inayotoa mapishi unayoweza kutengeneza kwa microwave, kwa hivyo tunataka kuhakikisha kuwa neno “microwave” linaonekana kwenye kichocheo. Microwave hugawanywa tokeni na kuwa kitambulisho 27000. Tunaweza kuongeza uwezekano wa tokeni hii kuonekana kwa kuweka logit_bias chanya, kama ifuatavyo:
logit_bias={27000:5}Sasa, ukamilishaji wetu una uwezekano zaidi wa kujumuisha neno 'microwave'.
Tuliweka logit_bias kuwa 5, kwa kuwa tuligundua kuwa kuweka logit_bias kuwa 1 mara nyingi hakukusababisha neno “microwave” kuonekana katika ukamilishaji, ilhali thamani za juu za logit_bias kama 10 zilisababisha neno “ microwave” kuonekana katika ukamilishaji mara nyingi mno.