Logit_bias er valfrjáls færibreyta sem breytir líkum á að tilgreindir tókar birtist í úttaki sem líkan býr til.
Þessi færibreyta tekur við JSON-hlut sem varpar tókum yfir í tengt skekkjugildi frá -100 (sem mun í flestum tilvikum koma í veg fyrir að sá tóki sé myndaður) til 100 (eingöngu val á tókanum, sem gerir líklegra að hann sé myndaður). Hófleg gildi eins og -1 og 1 breyta líkunum á að tóki sé valinn í minna mæli.
Þar sem færibreytan tekur við tókum, ekki texta, er gott að nota tókavæðingartól til að umbreyta texta í tókaauðkenni. Förum yfir nokkur dæmi.
Dæmi 1: Fjarlægja „time“
Ef við köllum á Completions-endapunktinn með kvaðningunni „Once upon a“ er mjög líklegt að útfyllingin byrji á „ time“.
Orðið „time“ tókavæðist í auðkennið 2435 og orðið „ time“ (sem er með bil í upphafi) tókavæðist í auðkennið 640. Við getum sent þetta í gegnum logit_bias með -100 til að banna að þau birtist í útfyllingunni, svona:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Nú myndar kvaðningin „Once upon a“ framhaldið „midnight dreary, while I pondered, weak and weary.“
Taktu eftir að orðið „time“ kemur hvergi fyrir, því við höfum í reynd bannað þennan tókar með logit_bias.
Dæmi 2: Stýrum niðurstöðunni með markvissum logit bias-gildum
Skoðum annað dæmi með kvaðningu sem býr til uppskriftir.
Í mörgum uppskriftum er mælt með pottum, en segjum að við eigum engan pott. Þá viljum við koma í veg fyrir að orðið „pot“ verði myndað í framhaldinu. Tókar orðsins „Pot“ hefur auðkennið 1787, svo við getum útilokað það úr myndaða textanum með því að stilla logit_bias eins og hér er sýnt.
logit_bias={1787:-100}Nú gæti útfyllingin okkar innihaldið orðið „saucepan“ í staðinn. Fullkomið!
Dæmi 3: Aukum líkurnar á að orð birtist
Segjum að við viljum auka líkurnar á að tiltekið orð birtist.
Við gætum til dæmis rekið vefsvæði með uppskriftum sem má elda í örbylgjuofni og viljum því tryggja að orðið „microwave“ komi fyrir í uppskriftinni. Tókar orðsins „Microwave“ hefur auðkennið 27000. Við getum aukið líkurnar á að þessi tókar birtist með því að stilla jákvætt logit_bias-gildi, svona:
logit_bias={27000:5}Nú eru meiri líkur á að orðið „microwave“ komi fyrir í framhaldinu.
Við stilltum logit_bias á 5, því þegar logit_bias var stillt á 1 kom orðið „microwave“ oft ekki fyrir í framhaldinu, en við hærri logit_bias-gildi, svo sem 10, kom orðið „ microwave“ allt of oft fyrir.