Logit_bias ಎಂಬುದು ಮಾಡೆಲ್ ರಚಿಸಿದ ಫಲಿತಾಂಶದಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಟೋಕನ್ಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಬದಲಾಯಿಸುವ ಐಚ್ಛಿಕ ಪ್ಯಾರಾಮೀಟರ್ ಆಗಿದೆ.
ಈ ಪ್ಯಾರಾಮೀಟರ್, ಟೋಕನ್ಗಳನ್ನು -100ರಿಂದ (ಇದು ಹೆಚ್ಚಿನ ಸಂದರ್ಭಗಳಲ್ಲಿ ಆ ಟೋಕನ್ ಜನರೇಟ್ ಆಗುವುದನ್ನು ತಡೆಯುತ್ತದೆ) 100ರವರೆಗಿನ (ಆ ಟೋಕನ್ನ ವಿಶೇಷ ಆಯ್ಕೆ; ಇದರಿಂದ ಅದು ಜನರೇಟ್ ಆಗುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು) ಸಂಬಂಧಿತ ಬೈಯಾಸ್ ಮೌಲ್ಯಕ್ಕೆ ಮ್ಯಾಪ್ ಮಾಡುವ JSON ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ. -1 ಮತ್ತು 1ರಂತಹ ಮಧ್ಯಮ ಮೌಲ್ಯಗಳು, ಟೋಕನ್ ಆಯ್ಕೆಯಾಗುವ ಸಾಧ್ಯತೆಯನ್ನು ಕಡಿಮೆ ಮಟ್ಟದಲ್ಲಿ ಬದಲಾಯಿಸುತ್ತವೆ.
ಪ್ಯಾರಾಮೀಟರ್ ಪಠ್ಯವಲ್ಲ, ಟೋಕನ್ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದರಿಂದ, ಪಠ್ಯವನ್ನು ಟೋಕನ್ IDಗಳಾಗಿ ಪರಿವರ್ತಿಸಲು ನೀವು ಟೋಕನೈಸರ್ ಸಾಧನ ಬಳಸಬೇಕು. ಕೆಲವು ಉದಾಹರಣೆಗಳನ್ನು ನೋಡೋಣ.
ಉದಾಹರಣೆ 1: ‘time’ ಅನ್ನು ತೆಗೆದುಹಾಕಿ
ನಾವು Completions ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು “Once upon a,” ಎಂಬ ಪ್ರಾಂಪ್ಟ್ನೊಂದಿಗೆ ಕರೆ ಮಾಡಿದರೆ, ಪೂರ್ಣಗೊಳಿಕೆ “ time.” ನಿಂದ ಪ್ರಾರಂಭವಾಗುವ ಸಾಧ್ಯತೆ ಬಹಳ ಹೆಚ್ಚು.
“time” ಪದವು ID 2435 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ ಮತ್ತು “ time” ಪದವು (ಆರಂಭದಲ್ಲಿ ಸ್ಪೇಸ್ ಹೊಂದಿದೆ) ID 640 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ. ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ ಅವು ಕಾಣಿಸದಂತೆ ನಿಷೇಧಿಸಲು, ನಾವು ಇವುಗಳನ್ನು -100 ಜೊತೆಗೆ logit_bias ಮೂಲಕ ಹೀಗೆ ಕಳುಹಿಸಬಹುದು:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)ಈಗ, “Once upon a” ಪ್ರಾಂಪ್ಟ್ “midnight dreary, while I pondered, weak and weary.” ಎಂಬ ಪೂರ್ಣಗೊಳಿಕೆಯನ್ನು ರಚಿಸುತ್ತದೆ.
“time” ಪದವು ಎಲ್ಲಿಯೂ ಕಾಣಿಸುತ್ತಿಲ್ಲ ಎಂಬುದನ್ನು ಗಮನಿಸಿ, ಏಕೆಂದರೆ logit_bias ಬಳಸಿ ನಾವು ಆ ಟೋಕನ್ ಅನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಷೇಧಿಸಿದ್ದೇವೆ.
ಉದಾಹರಣೆ 2: ಲಕ್ಷಿತ logit bias ಮೌಲ್ಯಗಳೊಂದಿಗೆ ದಿಕ್ಕು ನೀಡಿ
ರೆಸಿಪಿ ಜನರೇಟರ್ ಪ್ರಾಂಪ್ಟ್ ಬಳಸಿ ಮತ್ತೊಂದು ಉದಾಹರಣೆಯನ್ನು ನೋಡೋಣ.
ಅನೇಕ ರೆಸಿಪಿಗಳು ಪಾತ್ರೆಗಳನ್ನು ಬಳಸಲು ಸೂಚಿಸುತ್ತವೆ, ಆದರೆ ನಮ್ಮ ಬಳಿ ಪಾತ್ರೆ ಇಲ್ಲ ಎಂದು ಊಹಿಸಿ. ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಕೆಯ ಭಾಗವಾಗಿ “pot” ಪದ ಜನರೇಟ್ ಆಗದಂತೆ ಅದನ್ನು ತೆಗೆದುಹಾಕಲು ನಾವು ಬಯಸುತ್ತೇವೆ. ‘Pot’ ID 1787 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಕೆಳಗಿನಂತೆ ನಮ್ಮ logit_bias ಅನ್ನು ಹೊಂದಿಸುವ ಮೂಲಕ ಅದನ್ನು ನಮ್ಮ ರಚನೆಯಿಂದ ತೆಗೆದುಹಾಕಬಹುದು.
logit_bias={1787:-100}ಈಗ, ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ ಬದಲಾಗಿ “saucepan” ಪದ ಇರಬಹುದು. ಪರಿಪೂರ್ಣ!
ಉದಾಹರಣೆ 3: ಪದ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸಿ
ಒಂದು ಪದ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ನಾವು ಬಯಸುತ್ತೇವೆ ಎಂದು ಊಹಿಸಿ.
ಉದಾಹರಣೆಗೆ, ನಾವು ಮೈಕ್ರೋವೇವ್ ಬಳಸಿ ಮಾಡಬಹುದಾದ ರೆಸಿಪಿಗಳನ್ನು ನೀಡುವ ಸೈಟ್ ನಡೆಸುತ್ತಿದ್ದೇವೆ ಎಂದುಕೊಳ್ಳಿ; ಆದ್ದರಿಂದ ರೆಸಿಪಿಯಲ್ಲಿ “microwave” ಪದ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಬಯಸುತ್ತೇವೆ. Microwave ID 27000 ಆಗಿ ಟೋಕನೈಸ್ ಆಗುತ್ತದೆ. ಧನಾತ್ಮಕ logit_bias ಹೊಂದಿಸುವ ಮೂಲಕ, ಈ ಟೋಕನ್ ಕಾಣಿಸಿಕೊಳ್ಳುವ ಸಾಧ್ಯತೆಯನ್ನು ನಾವು ಹೀಗೆ ಹೆಚ್ಚಿಸಬಹುದು:
logit_bias={27000:5}ಈಗ, ನಮ್ಮ ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ ‘microwave’ ಪದ ಸೇರಿರುವ ಸಾಧ್ಯತೆ ಹೆಚ್ಚು.
ನಾವು logit_bias ಅನ್ನು 5ಕ್ಕೆ ಹೊಂದಿಸಿದ್ದೇವೆ, ಏಕೆಂದರೆ logit_bias ಅನ್ನು 1ಕ್ಕೆ ಹೊಂದಿಸಿದಾಗ ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ “microwave” ಪದ ಕಾಣಿಸಿಕೊಳ್ಳದೆ ಇರುವುದನ್ನು ನಾವು ಕಂಡುಕೊಂಡಿದ್ದೇವೆ; ಆದರೆ 10ರಂತಹ ಹೆಚ್ಚಿನ logit_bias ಮೌಲ್ಯಗಳು ಪೂರ್ಣಗೊಳಿಕೆಯಲ್ಲಿ “ microwave” ಪದವು ಅತಿಯಾಗಿ ಕಾಣಿಸಿಕೊಳ್ಳಲು ಕಾರಣವಾದವು.