Logit_bias iku parameter opsional sing ngowahi kamungkinan token tartamtu muncul ing output sing digawé model.
Parameter iki nampa objek JSON sing mapaké token menyang nilai bias sing kagandhèng saka -100 (sing ing akèh kasus bakal ngalangi token kuwi supaya ora digawé) nganti 100 (pamilihan eksklusif token sing ndadèkaké token kuwi luwih mungkin digawé). Nilai moderat kaya -1 lan 1 bakal ngganti probabilitas token kapilih kanthi tingkat sing luwih cilik.
Amarga parameter iki nampa token, dudu teks, sampeyan perlu nganggo piranti tokenizer kanggo ngowahi teks dadi ID token. Ayo deleng sawetara tuladha.
Tuladha 1: Mbusak ‘time’
Yen kita nyeluk titik pungkasan Completions nganggo prompt “Once upon a,”, completion-é banget mungkin bakal diwiwiti nganggo “ time.”
Tembung “time” diowahi dadi token menyang ID 2435 lan tembung “ time” (sing nduwèni spasi ing wiwitan) diowahi dadi token menyang ID 640. Kita bisa ngliwataké iki liwat logit_bias nganggo -100 kanggo nglarang supaya ora muncul ing completion, kaya mangkéné:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Sampeyan ngrampungake ukara pangguna."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Saiki, prompt “Once upon a” ngasilaké completion “midnight dreary, while I pondered, weak and weary.”
Gatekna yèn tembung “time” ora katon ing endi-endi, amarga kita wis kanthi efektif nglarang token kuwi nganggo logit_bias.
Tuladha 2: Menehi arah nganggo nilai bias logit sing ditargetaké
Ayo deleng tuladha liyané, nganggo prompt generator resep.
Akeh resep nyaranaké nganggo panci, nanging upamané kita ora nduwé panci. Kita bakal péngin mbusak tembung pot supaya ora digawé minangka bagéan saka completion kita. ‘Pot’ diowahi dadi token ID 1787, mula kita bisa mbusak saka generasi kita kanthi nyetel logit_bias kaya ing ngisor iki.
logit_bias={1787:-100}Saiki, completion kita bisa uga ngemot tembung “saucepan” minangka gantiné. Apik banget!
Tuladha 3: Nambah peluang munculé sawijining tembung
Upamané kita péngin nambah kamungkinan sawijining tembung muncul.
Contoné, bisa uga kita mbukak situs sing nawakaké resep sing bisa digawé nganggo microwave, mula kita péngin mesthèkaké yèn tembung “microwave” muncul ing resep. Microwave diowahi dadi token menyang ID 27000. Kita bisa nambah kamungkinan token iki muncul kanthi nyetel logit_bias positif, kaya mangkéné:
logit_bias={27000:5}Saiki, completion kita luwih mungkin ngemot tembung ‘microwave’.
Kita nyetel logit_bias dadi 5, amarga kita nemokaké yèn nyetel logit_bias dadi 1 asring ora njalari tembung “microwave” muncul ing completion, déné nilai logit_bias sing luwih dhuwur kaya 10 njalari tembung “ microwave” muncul ing completion kerep banget.