Logit_bias është një parametër opsional që modifikon gjasën që tokenë të caktuar të shfaqen në një dalje të gjeneruar nga modeli.
Ky parametër pranon një objekt JSON që lidh tokenët me një vlerë anshmërie përkatëse nga -100 (që në shumicën e rasteve do ta bllokojë gjenerimin e atij tokeni) deri në 100 (përzgjedhje ekskluzive e tokenit, që e bën më të mundshëm gjenerimin e tij). Vlerat e moderuara, si -1 dhe 1, do ta ndryshojnë probabilitetin që një token të zgjidhet në një shkallë më të vogël.
Meqenëse parametri pranon tokenë, jo tekst, do t’ju duhet të përdorni një mjet tokenizues për ta shndërruar tekstin në ID tokenësh. Le të shqyrtojmë disa shembuj.
Shembulli 1: Hiq “time”
Nëse e thërrasim pikën fundore Completions me kërkesën “Once upon a,” plotësimi ka shumë gjasa të fillojë me “ time.”
Fjala “time” tokenizohet në ID-në 2435 dhe fjala “ time” (që ka një hapësirë në fillim) tokenizohet në ID-në 640. Mund t’i kalojmë këto përmes logit_bias me -100 për t’i ndaluar të shfaqen në plotësim, kështu:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Tani, kërkesa «Once upon a» gjeneron plotësimin «midnight dreary, while I pondered, weak and weary.»
Vini re se fjala «time» nuk gjendet askund, sepse praktikisht e kemi ndaluar atë token duke përdorur logit_bias.
Shembulli 2: Orientoni rezultatin me vlera të synuara të logit bias
Le të shqyrtojmë një shembull tjetër, duke përdorur një kërkesë për gjenerues recetash.
Shumë receta sugjerojnë përdorimin e tenxhereve, por le të supozojmë se nuk kemi tenxhere. Duhet të parandalojmë që fjala «pot» të gjenerohet si pjesë e plotësimit tonë. «Pot» tokenizohet me ID-në 1787, ndaj mund ta përjashtojmë nga gjenerimi duke vendosur logit_bias si më poshtë.
logit_bias={1787:-100}Tani, plotësimi ynë mund të përfshijë në vend të saj fjalën “saucepan”. Përsosur!
Shembulli 3: Rritni gjasat që të shfaqet një fjalë
Le të supozojmë se duam të rrisim gjasat që të shfaqet një fjalë.
Për shembull, mund të menaxhojmë një faqe që ofron receta të përgatitshme në mikrovalë, ndaj duam të sigurohemi që fjala «microwave» të shfaqet në recetë. «Microwave» tokenizohet me ID-në 27000. Mund t’i rrisim gjasat që ky token të shfaqet duke vendosur një logit_bias pozitiv, si më poshtë:
logit_bias={27000:5}Tani, ka më shumë gjasa që plotësimi ynë të përmbajë fjalën «microwave».
E vendosëm logit_bias në 5, pasi vumë re se vendosja e logit_bias në 1 shpesh nuk bënte që fjala «microwave» të shfaqej në plotësim, ndërsa me vlera më të larta të logit_bias, si 10, fjala « microwave» shfaqej tepër shpesh.