Logit_bias нь заасан токенууд загвараас үүсгэсэн гаралтад гарч ирэх магадлалыг өөрчилдөг нэмэлт параметр юм.
Энэ параметр нь токенуудыг холбогдох хазайлтын утгатай нь харгалзуулах JSON объектыг хүлээн авдаг. Утга нь -100-аас (ихэнх тохиолдолд тухайн токен үүсэхийг хориглоно) 100 хүртэл (тухайн токеныг бараг дангаар сонгож, үүсэх магадлалыг нь нэмэгдүүлнэ) байна. -1 ба 1 гэх мэт дунд зэргийн утгууд нь токен сонгогдох магадлалыг бага хэмжээгээр өөрчилнө.
Параметр нь текст биш токен авдаг тул текстийг токены ID болгон хөрвүүлэхийн тулд токен үүсгэгч хэрэгсэл ашиглах хэрэгтэй. Хэдэн жишээ авч үзье.
Жишээ 1: “time”-ийг хасах
Хэрэв бид Completions эцсийн цэгийг “Once upon a,” гэсэн өгөгдөлтэй дуудвал гүйцээлт “ time.” гэж эхлэх магадлал маш өндөр.
“time” гэдэг үг токен үүсгэхэд ID 2435, харин “ time” гэдэг үг (эхэндээ зайтай) токен үүсгэхэд ID 640 болно. Эдгээрийг гүйцээлтэд гарч ирэхийг хориглохын тулд logit_bias-аар -100 утгатай дамжуулж болно. Жишээ нь:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Та хэрэглэгчийн өгүүлбэрийг төгсгөнө."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Одоо “Once upon a” өгөгдөл нь “midnight dreary, while I pondered, weak and weary.” гэсэн гүйцээлтийг үүсгэнэ.
“time” гэдэг үг хаана ч байхгүйг анхаарна уу. Учир нь бид logit_bias ашиглан уг токеныг үр дүнтэй хориглосон.
Жишээ 2: Тодорхой logit bias утгаар чиглүүлэх
Жор үүсгэгчийн өгөгдөл ашигласан өөр нэг жишээг авч үзье.
Олон жорт тогоо хэрэглэхийг зөвлөдөг ч бидэнд тогоо байхгүй гэж үзье. Тиймээс гүйцээлтийн хэсэгт “pot” гэдэг үг үүсэхээс сэргийлэх хэрэгтэй. “Pot” гэдэг нь токенчлогдоход 1787 болно. Иймээс logit_bias-ийг доорх байдлаар тохируулж, үүнийг үүсгэхгүй байж болно.
logit_bias={1787:-100}Одоо манай гүйцээлт оронд нь “saucepan” гэдэг үгийг оруулж магадгүй. Төгс!
Жишээ 3: Үг гарах магадлалыг нэмэгдүүлэх
Аль нэг үг гарах магадлалыг нэмэгдүүлэхийг хүсэж байна гэж үзье.
Жишээлбэл, бид бичил долгионы зууханд хийж болох хоолны жор санал болгодог сайт ажиллуулдаг бөгөөд жорт “microwave” гэдэг үг заавал оруулахыг хүсэж байна гэж бодъё. “Microwave” гэдэг нь токенчлогдоход 27000 ID-тай болно. Эерэг logit_bias тохируулснаар энэ токен гарах магадлалыг дараах байдлаар нэмэгдүүлж болно:
logit_bias={27000:5}Одоо манай гүйцээлтэд “microwave” гэдэг үг орох магадлал нэмэгдэнэ.
Бид logit_bias-ийг 5 болгож тохируулсан. Учир нь logit_bias-ийг 1 болгоход “microwave” гэдэг үг гүйцээлтэд ихэвчлэн гардаггүй, харин 10 зэрэг өндөр утгаар тохируулахад “ microwave” гэдэг үг хэт олон удаа гарч байв.