Logit_bias huwa parametru fakultattiv li jimmodifika l-probabbiltà li tokens speċifikati jidhru f’output iġġenerat minn mudell.
Dan il-parametru jaċċetta oġġett JSON li jimmappja tokens għal valur ta’ bias assoċjat minn -100 (li fil-biċċa l-kbira tal-każijiet jimblokka lil dak it-token milli jiġi ġġenerat) sa 100 (għażla esklużiva tat-token li tagħmilha aktar probabbli li jiġi ġġenerat). Valuri moderati bħal -1 u 1 jibdlu l-probabbiltà li token jintgħażel sa grad iżgħar.
Peress li l-parametru jieħu tokens, mhux test, tkun trid tuża għodda tat-tokenizzazzjoni biex tikkonverti test għal IDs tat-tokens. Ejja ngħaddu minn ftit eżempji.
Eżempju 1: Neħħi “time”
Jekk insejħu l-punt ta' tmiem Completions bil-prompt “Once upon a,”, it-tlestija x’aktarx tibda b’“ time.”
Il-kelma “time” titokenizza għall-ID 2435 u l-kelma “ time” (li għandha spazju fil-bidu) titokenizza għall-ID 640. Nistgħu ngħadduhom permezz ta’ logit_bias b’-100 biex nipprojbixxuhom milli jidhru fit-tlestija, hekk:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Int tlesti s-sentenzi tal-utent."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Issa, il-prompt “Once upon a” jiġġenera t-tlestija “midnight dreary, while I pondered, weak and weary.”
Innota li l-kelma “time” ma tidher imkien, għax effettivament ipprojbejna dak it-token permezz ta’ logit_bias.
Eżempju 2: Agħti direzzjoni b’valuri mmirati ta’ logit bias
Ejja naraw eżempju ieħor billi nużaw prompt li jiġġenera r-riċetti.
Ħafna riċetti jissuġġerixxu li tuża l-borom, iżda ejja ngħidu li m’għandniex borma. Irridu nevitaw li l-kelma “pot” tiġi ġġenerata bħala parti mit-tlestija tagħna. “Pot” jiġi tokenizzat bħala 1787, għalhekk nistgħu neskluduh mill-ġenerazzjoni billi nissettjaw logit_bias kif jidher hawn taħt.
logit_bias={1787:-100}Issa, it-tlestija tagħna tista’ minflok tinkludi l-kelma “saucepan”. Perfett!
Eżempju 3: Żid il-probabbiltà li tidher kelma
Ejja ngħidu li rridu nżidu l-probabbiltà li tidher kelma.
Pereżempju, jista’ jkun li qed inħaddmu sit web li joffri riċetti li tista’ tipprepara bil-microwave, għalhekk irridu niżguraw li l-kelma “microwave” tidher fir-riċetta. “Microwave” jiġi tokenizzat bl-ID 27000. Nistgħu nżidu l-probabbiltà li jidher dan it-token billi nissettjaw logit_bias pożittiv, kif ġej:
logit_bias={27000:5}Issa, huwa aktar probabbli li t-tlestija tagħna tinkludi l-kelma “microwave”.
Issettjajna logit_bias għal 5, għax sibna li meta logit_bias kien issettjat għal 1, il-kelma “microwave” spiss ma kinitx tidher fit-tlestija, filwaqt li b’valuri ogħla ta’ logit_bias, bħal 10, il-kelma “ microwave” kienet tidher fit-tlestija wisq drabi.