Logit_bias waa halbeeg ikhtiyaari ah oo beddela suurtagalnimada in token-nada la cayimay ay ka soo muuqdaan wax-soo-saar uu nooc soo saaray.
Halbeeggani wuxuu aqbalaa shay JSON ah oo token-nada ku xira qiime eex la xiriira oo u dhexeeya -100 (taas oo inta badan kiisaska ka hor istaagi doonta in token-kaas la soo saaro) ilaa 100 (xulasho gaar ah oo token-ka ah taas oo ka dhigaysa inuu u badan yahay in la soo saaro). Qiimayaasha dhexdhexaadka ah sida -1 iyo 1 waxay si yar u beddeli doonaan suuragalnimada in token la doorto.
Maadaama halbeeggu qaato token-no, ee aanu qaadan qoraal, waxaad u baahan doontaa inaad isticmaasho qalab tokenizer si aad qoraalka ugu beddesho ID-yada token-ka. Aan isla eegno dhowr tusaale.
Tusaale 1: Ka saar 'time'
Haddii aan ugu yeerno bar-dhammaadka Completions anagoo adeegsanayna weydiinta “Once upon a,” dhammeystirku aad bay u badan tahay inuu ku bilaabmo “ time.”
Erayga “time” wuxuu u yaryareeyaa token-ka ID 2435, erayga “ time” (oo boos bannaan ku leh bilowga) wuxuu u yaryareeyaa token-ka ID 640. Kuwaas waxaan u gudbin karnaa logit_bias oo leh -100 si aan uga mamnuucno inay ka soo muuqdaan dhammeystirka, sidan:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Hadda, weydiinta “Once upon a” waxay dhalisaa dhammaystirka “midnight dreary, while I pondered, weak and weary.”
Ogow in erayga “time” aanu meelna ka muuqan, sababtoo ah token-kaas ayaannu si wax ku ool ah u mamnuucnay annagoo adeegsanayna logit_bias.
Tusaalaha 2aad: Ku hag qiimayaasha logit bias ee la beegsaday
Aan eegno tusaale kale oo adeegsanaya weydiin loogu talagalay soo-saaraha cuntooyinka.
Cuntooyin badan ayaa ku talinaya isticmaalka dheriyada, balse ka soo qaad inaannaan haysan dheri. Waxaannu doonaynaa inaan erayga “pot” ka saarno waxa lagu soo saarayo dhammaystirkeenna. “Pot” waxaa loo token-gareeyaa 1787, sidaas darteed waxaannu ka saari karnaa soo-saaristeenna annagoo logit_bias u dejinayna sida hoos ku qoran.
logit_bias={1787:-100}Hadda, dhammeystirkeennu wuxuu halkii ku dari karaa erayga “saucepan”. Wanaagsan!
Tusaalaha 3aad: Kordhinta suurtagalnimada in eray soo baxo
Ka soo qaad inaan doonayno inaan kordhinno suurtagalnimada in eray soo baxo.
Tusaale ahaan, waxa laga yaabaa inaan maamulno bog bixiya cuntooyin lagu diyaarin karo microwave, sidaas darteed waxaannu rabnaa inaan hubinno in erayga “microwave” uu ka muuqdo cuntada. Microwave waxaa loo token-gareeyaa aqoonsiga 27000. Waxaannu kordhin karnaa suurtagalnimada in token-kani soo baxo annagoo dejinayna logit_bias togan, sidan:
logit_bias={27000:5}Hadda, dhammaystirkeennu wuxuu u badan yahay inuu ku jiro erayga “microwave”.
Waxaannu logit_bias u dejinnay 5, maadaama aan ogaannay in marka logit_bias loo dejiyo 1, erayga “microwave” aanu inta badan ka soo muuqan dhammaystirka, halka qiimayaasha logit_bias ee ka sarreeya, sida 10, ay keenaan in erayga “ microwave” uu marar aad u badan ka soo muuqdo dhammaystirka.