Logit_bias er valfrjáls færibreyta sem breytir líkum á að tilgreindir tókar birtist í úttaki sem líkan býr til.
Þessi færibreyta tekur við JSON-hlut sem varpar tókum yfir í tengt skekkjugildi frá -100 (sem mun í flestum tilvikum koma í veg fyrir að sá tóki sé myndaður) til 100 (eingöngu val á tókanum, sem gerir líklegra að hann sé myndaður). Hófleg gildi eins og -1 og 1 breyta líkunum á að tóki sé valinn í minna mæli.
Þar sem færibreytan tekur við tókum, ekki texta, er gott að nota tókavæðingartól til að umbreyta texta í tókaauðkenni. Förum yfir nokkur dæmi.
Dæmi 1: Fjarlægja „time“
Ef við köllum á Completions-endapunktinn með kvaðningunni „Once upon a“ er mjög líklegt að útfyllingin byrji á „ time“.
Orðið „time“ tókavæðist í auðkennið 2435 og orðið „ time“ (sem er með bil í upphafi) tókavæðist í auðkennið 640. Við getum sent þetta í gegnum logit_bias með -100 til að banna að þau birtist í útfyllingunni, svona:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Nú býr kvaðningin „Once upon a“ til útfyllinguna „midnight dreary, while I pondered, weak and weary.“
Taktu eftir að orðið „time“ finnst hvergi, því við höfum í raun bannað þann tóka með logit_bias.
Dæmi 2: Gefa stefnu með markvissum logit bias-gildum
Förum yfir annað dæmi með kvaðningu fyrir uppskriftasmið.
Margar uppskriftir leggja til að nota potta, en gerum ráð fyrir að við eigum engan pott. Við viljum koma í veg fyrir að orðið pot verði myndað sem hluti af útfyllingunni okkar. „Pot“ tókavæðist í 1787, þannig að við getum fjarlægt það úr mynduninni okkar með því að stilla logit_bias eins og hér að neðan.
logit_bias={1787:-100}Nú gæti útfyllingin okkar innihaldið orðið „saucepan“ í staðinn. Fullkomið!
Dæmi 3: Auka líkurnar á að orð birtist
Gerum ráð fyrir að við viljum auka líkurnar á að orð birtist.
Til dæmis gætum við verið með vef sem býður upp á uppskriftir sem hægt er að gera með örbylgjuofni, svo við viljum tryggja að orðið „microwave“ birtist í uppskriftinni. Microwave tókavæðist í auðkennið 27000. Við getum aukið líkurnar á að þessi tóki birtist með því að stilla jákvætt logit_bias, svona:
logit_bias={27000:5}Nú er líklegra að útfyllingin okkar innihaldi orðið „microwave“.
Við stilltum logit_bias á 5, þar sem við komumst að því að þegar logit_bias var stillt á 1 birtist orðið „microwave“ oft ekki í útfyllingunni, en hærri logit_bias-gildi eins og 10 leiddu til þess að orðið „ microwave“ birtist of oft í útfyllingunni.