Logit_bias ಎಂಬುದು ಮಾಡೆಲ್ ರಚಿಸಿದ ಫಲಿತಾಂಶದಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಟೋಕನ್ಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಬದಲಾಯಿಸುವ ಐಚ್ಛಿಕ ಪ್ಯಾರಾಮೀಟರ್ ಆಗಿದೆ.
ಈ ಪ್ಯಾರಾಮೀಟರ್, ಟೋಕನ್ಗಳನ್ನು -100ರಿಂದ (ಇದು ಹೆಚ್ಚಿನ ಸಂದರ್ಭಗಳಲ್ಲಿ ಆ ಟೋಕನ್ ಜನರೇಟ್ ಆಗುವುದನ್ನು ತಡೆಯುತ್ತದೆ) 100ರವರೆಗಿನ (ಆ ಟೋಕನ್ನ ವಿಶೇಷ ಆಯ್ಕೆ; ಇದರಿಂದ ಅದು ಜನರೇಟ್ ಆಗುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು) ಸಂಬಂಧಿತ ಬೈಯಾಸ್ ಮೌಲ್ಯಕ್ಕೆ ಮ್ಯಾಪ್ ಮಾಡುವ JSON ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ. -1 ಮತ್ತು 1ರಂತಹ ಮಧ್ಯಮ ಮೌಲ್ಯಗಳು, ಟೋಕನ್ ಆಯ್ಕೆಯಾಗುವ ಸಾಧ್ಯತೆಯನ್ನು ಕಡಿಮೆ ಮಟ್ಟದಲ್ಲಿ ಬದಲಾಯಿಸುತ್ತವೆ.
ಪ್ಯಾರಾಮೀಟರ್ ಪಠ್ಯವಲ್ಲ, ಟೋಕನ್ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದರಿಂದ, ಪಠ್ಯವನ್ನು ಟೋಕನ್ IDಗಳಾಗಿ ಪರಿವರ್ತಿಸಲು ನೀವು ಟೋಕನೈಸರ್ ಸಾಧನ ಬಳಸಬೇಕು. ಕೆಲವು ಉದಾಹರಣೆಗಳನ್ನು ನೋಡೋಣ.
ಉದಾಹರಣೆ 1: ‘time’ ಅನ್ನು ತೆಗೆದುಹಾಕಿ
ನಾವು Completions ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು “Once upon a,” ಎಂಬ ಪ್ರಾಂಪ್ಟ್ನೊಂದಿಗೆ ಕರೆ ಮಾಡಿದರೆ, ಪೂರ್ಣಗೊಳಿಕೆ “ time.” ನಿಂದ ಪ್ರಾರಂಭವಾಗುವ ಸಾಧ್ಯತೆ ಬಹಳ ಹೆಚ್ಚು.
“time” ಪದವು ID 2435 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ ಮತ್ತು “ time” ಪದವು (ಆರಂಭದಲ್ಲಿ ಸ್ಪೇಸ್ ಹೊಂದಿದೆ) ID 640 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ. ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ ಅವು ಕಾಣಿಸದಂತೆ ನಿಷೇಧಿಸಲು, ನಾವು ಇವುಗಳನ್ನು -100 ಜೊತೆಗೆ logit_bias ಮೂಲಕ ಹೀಗೆ ಕಳುಹಿಸಬಹುದು:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)ಈಗ, “Once upon a” ಎಂಬ ಪ್ರಾಂಪ್ಟ್ “midnight dreary, while I pondered, weak and weary.” ಎಂಬ ಪೂರ್ಣಗೊಳಿಸಿದ ಪಠ್ಯವನ್ನು ರಚಿಸುತ್ತದೆ.
“time” ಎಂಬ ಪದ ಎಲ್ಲಿಯೂ ಕಾಣಿಸುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ಏಕೆಂದರೆ logit_bias ಬಳಸಿ ಆ ಟೋಕನ್ ಅನ್ನು ನಾವು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಷೇಧಿಸಿದ್ದೇವೆ.
ಉದಾಹರಣೆ 2: ನಿರ್ದಿಷ್ಟ ಲಾಜಿಟ್ ಬಯಾಸ್ ಮೌಲ್ಯಗಳ ಮೂಲಕ ನಿರ್ದೇಶನ ನೀಡುವುದು
ಅಡುಗೆ ವಿಧಾನ ರಚಿಸುವ ಪ್ರಾಂಪ್ಟ್ ಬಳಸಿ ಇನ್ನೊಂದು ಉದಾಹರಣೆಯನ್ನು ನೋಡೋಣ.
ಅನೇಕ ಅಡುಗೆ ವಿಧಾನಗಳು ಪಾತ್ರೆಗಳನ್ನು ಬಳಸಲು ಸೂಚಿಸುತ್ತವೆ. ಆದರೆ ನಮ್ಮ ಬಳಿ ಪಾತ್ರೆಯೇ ಇಲ್ಲ ಎಂದು ಭಾವಿಸೋಣ. ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಸಿದ ಪಠ್ಯದಲ್ಲಿ pot ಎಂಬ ಪದ ರಚನೆಯಾಗದಂತೆ ಅದನ್ನು ತೆಗೆದುಹಾಕಬೇಕು. “Pot” ಅನ್ನು ಟೋಕನ್ಗಳಾಗಿ ವಿಭಜಿಸಿದಾಗ 1787 ಸಿಗುತ್ತದೆ. ಆದ್ದರಿಂದ ಕೆಳಗಿನಂತೆ logit_bias ಅನ್ನು ಹೊಂದಿಸುವ ಮೂಲಕ ಅದನ್ನು ನಮ್ಮ ಪಠ್ಯ ರಚನೆಯಿಂದ ತೆಗೆದುಹಾಕಬಹುದು.
logit_bias={1787:-100}ಈಗ, ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ ಬದಲಾಗಿ “saucepan” ಪದ ಇರಬಹುದು. ಪರಿಪೂರ್ಣ!
ಉದಾಹರಣೆ 3: ಪದವೊಂದು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸುವುದು
ಪದವೊಂದು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ನಾವು ಬಯಸುತ್ತೇವೆ ಎಂದು ಭಾವಿಸೋಣ.
ಉದಾಹರಣೆಗೆ, ಮೈಕ್ರೋವೇವ್ನಲ್ಲಿ ತಯಾರಿಸಬಹುದಾದ ಅಡುಗೆ ವಿಧಾನಗಳನ್ನು ನೀಡುವ ತಾಣವನ್ನು ನಾವು ನಡೆಸುತ್ತಿರಬಹುದು. ಆದ್ದರಿಂದ ಅಡುಗೆ ವಿಧಾನದಲ್ಲಿ “microwave” ಎಂಬ ಪದ ಕಾಣಿಸಿಕೊಳ್ಳುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಬಯಸುತ್ತೇವೆ. Microwave ಎಂಬ ಪಠ್ಯವು ID 27000ರ ಟೋಕನ್ ಆಗುತ್ತದೆ. ಧನಾತ್ಮಕ ಲಾಜಿಟ್ ಬಯಾಸ್ ಅನ್ನು ಈ ಕೆಳಗಿನಂತೆ ಹೊಂದಿಸುವ ಮೂಲಕ ಈ ಟೋಕನ್ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು:
logit_bias={27000:5}ಈಗ, ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಸಿದ ಪಠ್ಯದಲ್ಲಿ “microwave” ಎಂಬ ಪದ ಸೇರಿರುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚಾಗಿದೆ.
ನಾವು logit_bias ಅನ್ನು 5ಕ್ಕೆ ಹೊಂದಿಸಿದ್ದೇವೆ. ಏಕೆಂದರೆ logit_bias ಅನ್ನು 1ಕ್ಕೆ ಹೊಂದಿಸಿದಾಗ ಪೂರ್ಣಗೊಳಿಸಿದ ಪಠ್ಯದಲ್ಲಿ “microwave” ಎಂಬ ಪದ ಹೆಚ್ಚಾಗಿ ಕಾಣಿಸುತ್ತಿರಲಿಲ್ಲ; 10ರಂತಹ ಹೆಚ್ಚಿನ logit_bias ಮೌಲ್ಯಗಳನ್ನು ಬಳಸಿದಾಗ “ microwave” ಎಂಬ ಪದ ತೀರಾ ಹೆಚ್ಚಾಗಿ ಕಾಣಿಸುತ್ತಿತ್ತು.