Logit_bias iku parameter opsional sing ngowahi kamungkinan token tartamtu muncul ing output sing digawé model.
Parameter iki nampa objek JSON sing mapaké token menyang nilai bias sing kagandhèng saka -100 (sing ing akèh kasus bakal ngalangi token kuwi supaya ora digawé) nganti 100 (pamilihan eksklusif token sing ndadèkaké token kuwi luwih mungkin digawé). Nilai moderat kaya -1 lan 1 bakal ngganti probabilitas token kapilih kanthi tingkat sing luwih cilik.
Amarga parameter iki nampa token, dudu teks, sampeyan perlu nganggo piranti tokenizer kanggo ngowahi teks dadi ID token. Ayo deleng sawetara tuladha.
Tuladha 1: Mbusak ‘time’
Yen kita nyeluk titik pungkasan Completions nganggo prompt “Once upon a,”, completion-é banget mungkin bakal diwiwiti nganggo “ time.”
Tembung “time” diowahi dadi token menyang ID 2435 lan tembung “ time” (sing nduwèni spasi ing wiwitan) diowahi dadi token menyang ID 640. Kita bisa ngliwataké iki liwat logit_bias nganggo -100 kanggo nglarang supaya ora muncul ing completion, kaya mangkéné:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Sampeyan ngrampungake ukara pangguna."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Saiki, prompt “Once upon a” ngasilake rampungan “midnight dreary, while I pondered, weak and weary.”
Elinga yen tembung “time” ora tinemu ing endi wae, amarga token kasebut wis kita larang kanthi efektif nganggo logit_bias.
Conto 2: Menehi arah nganggo nilai bias logit sing ditargetake
Ayo dideleng conto liyane kanthi nggunakake prompt generator resep.
Akeh resep nyaranake nggunakake panci, nanging upamane kita ora duwe panci. Kita kudu nyegah tembung pot supaya ora digawe minangka bagean saka asil rampungan. 'Pot' ditokenisasi dadi 1787, mula bisa dibusak saka asil generasi kanthi nyetel logit_bias kaya ing ngisor iki.
logit_bias={1787:-100}Saiki, completion kita bisa uga ngemot tembung “saucepan” minangka gantiné. Apik banget!
Conto 3: Ngundhakake kemungkinan sawijining tembung muncul
Upamane kita pengin ngundhakake kemungkinan sawijining tembung muncul.
Contone, bisa wae kita ngelola situs sing nawakake resep sing bisa digawe nganggo microwave, mula kita pengin mesthekake yen tembung “microwave” muncul ing resep kasebut. Microwave ditokenisasi dadi ID 27000. Kita bisa ngundhakake kemungkinan token iki muncul kanthi nyetel logit_bias positif, kaya mangkene:
logit_bias={27000:5}Saiki, asil rampungan kita luwih mungkin ngemot tembung 'microwave'.
Kita nyetel logit_bias dadi 5, amarga nalika logit_bias disetel dadi 1, tembung “microwave” kerep ora muncul ing asil rampungan, dene nilai logit_bias sing luwih dhuwur, kayata 10, njalari tembung “ microwave” kerep banget muncul.