Logit_bias waa halbeeg ikhtiyaari ah oo beddela suurtagalnimada in token-nada la cayimay ay ka soo muuqdaan wax-soo-saar uu nooc soo saaray.
Halbeeggani wuxuu aqbalaa shay JSON ah oo token-nada ku xira qiime eex la xiriira oo u dhexeeya -100 (taas oo inta badan kiisaska ka hor istaagi doonta in token-kaas la soo saaro) ilaa 100 (xulasho gaar ah oo token-ka ah taas oo ka dhigaysa inuu u badan yahay in la soo saaro). Qiimayaasha dhexdhexaadka ah sida -1 iyo 1 waxay si yar u beddeli doonaan suuragalnimada in token la doorto.
Maadaama halbeeggu qaato token-no, ee aanu qaadan qoraal, waxaad u baahan doontaa inaad isticmaasho qalab tokenizer si aad qoraalka ugu beddesho ID-yada token-ka. Aan isla eegno dhowr tusaale.
Tusaale 1: Ka saar 'time'
Haddii aan ugu yeerno bar-dhammaadka Completions anagoo adeegsanayna weydiinta “Once upon a,” dhammeystirku aad bay u badan tahay inuu ku bilaabmo “ time.”
Erayga “time” wuxuu u yaryareeyaa token-ka ID 2435, erayga “ time” (oo boos bannaan ku leh bilowga) wuxuu u yaryareeyaa token-ka ID 640. Kuwaas waxaan u gudbin karnaa logit_bias oo leh -100 si aan uga mamnuucno inay ka soo muuqdaan dhammeystirka, sidan:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Hadda, weydiinta “Once upon a” waxay soo saartaa dhammeystirka “midnight dreary, while I pondered, weak and weary.”
Ogsoonow in erayga “time” uusan meelna ka muuqan, maxaa yeelay si wax ku ool ah ayaan token-kaas uga mamnuucnay annagoo adeegsanayna logit_bias.
Tusaale 2: Jiheyn ku bixi qiimayaasha logit bias ee la beegsanayo
Aan soo qaadanno tusaale kale, annagoo adeegsanayna weydiin soo-saare hab-cunto.
Habraacyo cunto badan ayaa ku taliya in la isticmaalo dheriyo, laakiin ka soo qaad inaanan haysan dheri. Waxaan rabnaa inaan ka saarno erayga pot in loo soo saaro qayb ka mid ah dhammeystirkeenna. 'Pot' waxa loo yaryareeyaa token-ka 1787, sidaas darteed waxaan uga saari karnaa soo-saaristeenna annagoo u dejinayna logit_bias sida hoose.
logit_bias={1787:-100}Hadda, dhammeystirkeennu wuxuu halkii ku dari karaa erayga “saucepan”. Wanaagsan!
Tusaale 3: Kordhi suurtagalnimada in eray soo muuqdo
Ka soo qaad inaan rabno inaan kordhino suurtagalnimada in eray soo muuqdo.
Tusaale ahaan, waxaa laga yaabaa inaan wadno bog bixiya habraacyo cunto oo aad ku diyaarin karto microwave, sidaas darteed waxaan rabnaa inaan hubinno in erayga “microwave” ka soo muuqdo hab-cuntada. Microwave waxa loo yaryareeyaa token-ka ID 27000. Waxaan kordhin karnaa suurtagalnimada in token-kani soo muuqdo annagoo dejinayna logit_bias togan, sidan:
logit_bias={27000:5}Hadda, dhammeystirkeennu wuxuu u badan yahay inuu ku daro erayga 'microwave'.
Waxaan logit_bias ka dhignay 5, maadaama aan ogaanay in dejinta logit_bias ee 1 badanaa aysan keenin in erayga “microwave” ka soo muuqdo dhammeystirka, halka qiimayaasha logit_bias ee ka sarreeya sida 10 ay keeneen in erayga “ microwave” uu aad ugu soo noqnoqdo dhammeystirka.