ಅವಲೋಕನ
ಪಠ್ಯವನ್ನು ಸಂಸ್ಕರಿಸಲು OpenAI ಮಾಡೆಲ್ಗಳು ಬಳಸುವ ಘಟಕಗಳೇ ಟೋಕನ್ಗಳು. ಒಂದು ಟೋಕನ್ ಅಕ್ಷರ, ಪದದ ಭಾಗ, ಸಂಪೂರ್ಣ ಪದ ಅಥವಾ ವಿರಾಮಚಿಹ್ನೆಯನ್ನು ಪ್ರತಿನಿಧಿಸಬಹುದು. ಪಠ್ಯವನ್ನು ಟೋಕನ್ಗಳಾಗಿ ವಿಭಜಿಸುವ ರೀತಿಯ ಮೇಲೆ ಸ್ಪೇಸ್ಗಳೂ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ.
ಟೋಕನ್ ಎಣಿಕೆ ಮತ್ತು ಪದಗಳ ಎಣಿಕೆ ಒಂದೇ ಅಲ್ಲ. ಮಾಡೆಲ್, ಅದರ ಎನ್ಕೋಡಿಂಗ್ ಮತ್ತು ಭಾಷೆಯನ್ನು ಅವಲಂಬಿಸಿ ಒಂದೇ ಪಠ್ಯವು ವಿಭಿನ್ನ ಟೋಕನ್ ಎಣಿಕೆಗಳನ್ನು ನೀಡಬಹುದು.
ಪಠ್ಯವು ಟೋಕನ್ಗಳಾಗುವ ವಿಧಾನವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ
ನೀವು ಮಾಡೆಲ್ಗೆ ಪಠ್ಯವನ್ನು ಕಳುಹಿಸಿದಾಗ:
ಪಠ್ಯವನ್ನು ಟೋಕನ್ಗಳಾಗಿ ವಿಭಜಿಸಲಾಗುತ್ತದೆ.
ಮಾಡೆಲ್ ಆ ಟೋಕನ್ಗಳನ್ನು ಸಂಸ್ಕರಿಸುತ್ತದೆ.
ಮಾಡೆಲ್ ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ರಚಿಸುತ್ತದೆ. ಇವುಗಳಲ್ಲಿ ನಿಮಗೆ ದೊರೆಯುವ ಪಠ್ಯ ಮತ್ತು ರೀಜನಿಂಗ್ ಮಾಡೆಲ್ಗಳ ಸಂದರ್ಭದಲ್ಲಿ ಉತ್ತರದ ಪಠ್ಯವಾಗಿ ತೋರಿಸದ ಆಂತರಿಕ ರೀಜನಿಂಗ್ ಟೋಕನ್ಗಳು ಸೇರಿರಬಹುದು.
ಇಂಗ್ಲಿಷ್ ಪಠ್ಯಕ್ಕೆ ಸ್ಥೂಲ ಅಂದಾಜುಗಳನ್ನು ಬಳಸಿ
ಇಂಗ್ಲಿಷ್ ಪಠ್ಯದ ಗಾತ್ರವನ್ನು ಅಂದಾಜಿಸಲು ಇವು ಸಹಾಯ ಮಾಡಬಹುದು:
1 ಟೋಕನ್ ಸರಿಸುಮಾರು 4 ಅಕ್ಷರಗಳಿಗೆ ಸಮ.
1 ಟೋಕನ್ ಸರಿಸುಮಾರು ಒಂದು ಪದದ ಮುಕ್ಕಾಲು ಭಾಗಕ್ಕೆ ಸಮ.
100 ಟೋಕನ್ಗಳು ಸರಿಸುಮಾರು 75 ಪದಗಳಿಗೆ ಸಮ.
ಇವು ಅಂದಾಜುಗಳು, ನಿಖರವಾದ ಎಣಿಕೆಗಳಲ್ಲ. ವಾಕ್ಯಗಳು ಮತ್ತು ಪ್ಯಾರಾಗ್ರಾಫ್ಗಳ ಉದ್ದ ಬದಲಾಗುತ್ತದೆ; ಇತರ ಭಾಷೆಗಳಲ್ಲಿ ಅಕ್ಷರಗಳು, ಪದಗಳು ಮತ್ತು ಟೋಕನ್ಗಳ ನಡುವಿನ ಸಂಬಂಧವೂ ಭಿನ್ನವಾಗಿರಬಹುದು.
ಸ್ಪೇಸ್ಗಳು ಮತ್ತು ದೊಡ್ಡಕ್ಷರ ಬಳಕೆಯನ್ನು ಪರಿಗಣಿಸಿ
ಪದದ ಕಾಗುಣಿತ, ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ಬಳಕೆ ಮತ್ತು ಸುತ್ತಲಿನ ಪಠ್ಯವನ್ನು ಅವಲಂಬಿಸಿ ಅದನ್ನು ವಿಭಿನ್ನ ಟೋಕನ್ಗಳಾಗಿ ವಿಭಜಿಸಬಹುದು.
ಉದಾಹರಣೆಗೆ, red, Red ಮತ್ತು red ಒಂದೇ ಪಠ್ಯವನ್ನು ಹೊಂದಿಲ್ಲ: ಕೊನೆಯ ಉದಾಹರಣೆಯ ಆರಂಭದಲ್ಲಿ ಸ್ಪೇಸ್ ಇದೆ. ಎನ್ಕೋಡಿಂಗ್ ಅವುಗಳನ್ನು ವಿಭಿನ್ನವಾಗಿ ಪ್ರತಿನಿಧಿಸಬಹುದು.
ಟೋಕನ್ ಐಡಿಗಳು ಸಹ ಎನ್ಕೋಡಿಂಗ್ ಅನ್ನು ಅವಲಂಬಿಸಿರುತ್ತವೆ. ಉದಾಹರಣೆಯಲ್ಲಿರುವ ಟೋಕನ್ ಐಡಿ ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ಗೂ ಅನ್ವಯಿಸುತ್ತದೆ ಎಂದು ಭಾವಿಸಬೇಡಿ.
ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ವ್ಯತ್ಯಾಸ ತಿಳಿಯಿರಿ
| ವರ್ಗ | ಇದು ವಿವರಿಸುವುದು |
| ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು | ವಿನಂತಿಯಲ್ಲಿ ಮಾಡೆಲ್ಗೆ ಒದಗಿಸಲಾದ ಟೋಕನ್ಗಳು. ಇವುಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ ಟೋಕನ್ಗಳೆಂದೂ ಕರೆಯಲಾಗುತ್ತದೆ. |
| ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳು | ಮಾಡೆಲ್ ರಚಿಸಿದ ಟೋಕನ್ಗಳು. Chat Completions ಇವುಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಟೋಕನ್ಗಳು ಎಂದು ಕರೆಯುತ್ತದೆ. |
| ಕ್ಯಾಶ್ ಮಾಡಿದ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು | ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಮೂಲಕ ಮರುಬಳಕೆಯಾಗುವ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು. ಇವುಗಳ ಬೆಲೆಯು ಕ್ಯಾಶ್ ಮಾಡದ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳ ಬೆಲೆಗಿಂತ ಭಿನ್ನವಾಗಿರಬಹುದು. |
| ರೀಜನಿಂಗ್ ಟೋಕನ್ಗಳು | ಗೋಚರಿಸುವ ಉತ್ತರವನ್ನು ನೀಡುವ ಮೊದಲು ರೀಜನಿಂಗ್ ಮಾಡೆಲ್ ಆಂತರಿಕವಾಗಿ ಬಳಸುವ ಟೋಕನ್ಗಳು. |
ರೀಜನಿಂಗ್ ಟೋಕನ್ಗಳು ಉತ್ತರದ ಪಠ್ಯವಾಗಿ ಗೋಚರಿಸುವುದಿಲ್ಲ, ಆದರೆ ಅವು ಔಟ್ಪುಟ್ ಬಳಕೆಯಲ್ಲಿ ಎಣಿಕೆಯಾಗುತ್ತವೆ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳಂತೆ ಅವುಗಳಿಗೆ ಶುಲ್ಕ ವಿಧಿಸಲಾಗುತ್ತದೆ.
ಆದ್ದರಿಂದ, ಗೋಚರಿಸುವ ಚಿಕ್ಕ ಉತ್ತರವು ಅದರ ಪ್ರದರ್ಶಿತ ಪಠ್ಯ ಸೂಚಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚು ಟೋಕನ್ಗಳನ್ನು ಬಳಸಬಹುದು.
ವಿನಂತಿಯನ್ನು ಕಳುಹಿಸುವ ಮೊದಲು ಟೋಕನ್ಗಳನ್ನು ಎಣಿಸಿ
ಸರಳ ಪಠ್ಯವನ್ನು ಎಣಿಸಿ
ಪಠ್ಯವನ್ನು ಟೋಕನ್ಗಳಾಗಿ ಹೇಗೆ ವಿಭಜಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನೋಡಲು ಟೋಕನೈಜರ್ ಬಳಸಿ.
ಪ್ರೋಗ್ರಾಮ್ ಮೂಲಕ ಸರಳ ಪಠ್ಯದ ಟೋಕನೈಜೇಶನ್ ಮಾಡಲು tiktoken ಬಳಸಿ. ಉದಾಹರಣೆಗೆ tiktoken.encoding_for_model(model) ಬಳಸಿ, ನಿಮ್ಮ ಗುರಿ ಮಾಡೆಲ್ಗೆ ಸೂಕ್ತವಾದ ಎನ್ಕೋಡಿಂಗ್ ಆಯ್ಕೆಮಾಡಿ.
ಸರಳ ಪಠ್ಯದ ಟೋಕನ್ ಎಣಿಕೆಯು API ವಿನಂತಿಯಲ್ಲಿರುವ ಎಲ್ಲ ಟೋಕನ್ಗಳನ್ನು ಒಳಗೊಂಡಿರಬೇಕೆಂದಿಲ್ಲ. ಸಂದೇಶದ ರಚನೆ, ಪರಿಕರಗಳು, ಸ್ಕೀಮಾಗಳು, ಚಿತ್ರಗಳು ಮತ್ತು ಫೈಲ್ಗಳು ಸಂಪೂರ್ಣ ಇನ್ಪುಟ್ ಎಣಿಕೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು.
ಸಂಪೂರ್ಣ Responses ಇನ್ಪುಟ್ ಅನ್ನು ಎಣಿಸಿ
ಸಂಪೂರ್ಣ Responses API ಇನ್ಪುಟ್ಗಾಗಿ, ಇನ್ಪುಟ್-ಟೋಕನ್ ಎಣಿಕೆ API ಬಳಸಿ.
ಇದು ಸಂದೇಶಗಳು, ಚಿತ್ರಗಳು, ಫೈಲ್ಗಳು, ಪರಿಕರಗಳು ಮತ್ತು ಸಂಭಾಷಣೆಗಳು ಸೇರಿದಂತೆ Responses ಇನ್ಪುಟ್ ಸ್ವರೂಪಗಳನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ. ಇದರ ಎಣಿಕೆಯು ಸಂದೇಶದ ಪಾತ್ರಗಳು ಮತ್ತು ಗಡಿಗಳಂತಹ ವಿನಂತಿಯ ರಚನೆಗಾಗಿ ಬಳಸುವ ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಟೋಕನ್ಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ.
ಮಾಡೆಲ್ ಎಷ್ಟು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ರಚಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಇನ್ಪುಟ್ ಎಣಿಕೆಯು ಊಹಿಸುವುದಿಲ್ಲ.
ಟೋಕನ್ಗಳ ನಿಜವಾದ ಬಳಕೆಯನ್ನು ಪರಿಶೀಲಿಸಿ
ವಿನಂತಿಯ ನಂತರ, ಅದರ ಬಳಕೆಯ ಮಾಹಿತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಎಂಡ್ಪಾಯಿಂಟ್ಗೆ ಅನುಗುಣವಾಗಿ ಕ್ಷೇತ್ರದ ಹೆಸರುಗಳು ಬದಲಾಗುತ್ತವೆ:
Chat Completions, prompt_tokens, completion_tokens ಮತ್ತು total_tokens ಅನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ.
Responses, input_tokens, output_tokens ಮತ್ತು total_tokens ಅನ್ನು ವರದಿ ಮಾಡುತ್ತದೆ.
ಕಾಲಾನಂತರದ ಚಟುವಟಿಕೆಯನ್ನು ಬಳಕೆಯ ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿಯೂ ಪರಿಶೀಲಿಸಬಹುದು. ಸ್ಟ್ರೀಮಿಂಗ್ ಬಳಕೆ ಸೇರಿದಂತೆ ಸೂಚನೆಗಳಿಗಾಗಿ, API ಬಳಕೆ ಮತ್ತು ವೆಚ್ಚಗಳ ಪರಿಶೀಲನೆ ನೋಡಿ.
ಮಾಡೆಲ್ ಮಿತಿಗಳೊಳಗೆ ಇರಿ
ನಿಮ್ಮ ಮಾಡೆಲ್ನ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಮತ್ತು ಗರಿಷ್ಠ ಔಟ್ಪುಟ್ಗಾಗಿ ಅದರ ದಾಖಲಾತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ. ಈ ಮಿತಿಗಳು ಮಾಡೆಲ್ಗಳ ನಡುವೆ ಭಿನ್ನವಾಗಿರಬಹುದು.
ಒಂದು ವಿನಂತಿಯಲ್ಲಿ ಮಾಡೆಲ್ ಬಳಸಬಹುದಾದ ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಮಿತಿಗೊಳಿಸುತ್ತದೆ. ಮಾಡೆಲ್ಗಳಿಗೆ ಔಟ್ಪುಟ್ ಮಿತಿಯೂ ಇರುತ್ತದೆ. ರೀಜನಿಂಗ್ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ, ಗೋಚರಿಸುವ ಉತ್ತರದ ಜೊತೆಗೆ ರೀಜನಿಂಗ್ ಟೋಕನ್ಗಳಿಗೂ ಸ್ಥಳ ಮೀಸಲಿಡಿ.
ನಿಮ್ಮ ಇನ್ಪುಟ್ ತುಂಬಾ ದೊಡ್ಡದಾಗಿದ್ದರೆ, ನೀವು ಹೀಗೆ ಮಾಡಬಹುದು:
ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಿ ಅಥವಾ ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಬರೆಯಿರಿ.
ಅನಗತ್ಯ ಅಥವಾ ಪುನರಾವರ್ತಿತ ಸಂದರ್ಭವನ್ನು ತೆಗೆದುಹಾಕಿ.
ದೊಡ್ಡ ಇನ್ಪುಟ್ಗಳನ್ನು ಸಣ್ಣ ಭಾಗಗಳಾಗಿ ವಿಭಜಿಸಿ.
ಪಠ್ಯವನ್ನು ಕಳುಹಿಸುವ ಮೊದಲು ಸಾರಾಂಶಗೊಳಿಸಿ ಅಥವಾ ಪೂರ್ವಸಂಸ್ಕರಿಸಿ.
ನಿಮ್ಮ ಎಂಡ್ಪಾಯಿಂಟ್ ಮತ್ತು ಮಾಡೆಲ್ ಬೆಂಬಲಿಸುವ ಔಟ್ಪುಟ್-ಟೋಕನ್ ಸೆಟ್ಟಿಂಗ್ ಬಳಸಿ. Chat Completions, max_completion_tokens ಅನ್ನು ಬಳಸುತ್ತದೆ; Responses, max_output_tokens ಅನ್ನು ಬಳಸುತ್ತದೆ.
ಈ ವಿನಂತಿ-ಗಾತ್ರದ ಮಿತಿಗಳು API ದರ ಮಿತಿಗಳು ಮತ್ತು ಮಾಸಿಕ ಬಳಕೆ ಅಥವಾ ಖರ್ಚಿನ ಮಿತಿಗಳಿಗಿಂತ ಪ್ರತ್ಯೇಕವಾಗಿವೆ. ನೀವು ಬಳಸುವ ಮಾಡೆಲ್ಗಾಗಿ ಮಾಡೆಲ್ ದಾಖಲಾತಿ ಪರಿಶೀಲಿಸಿ.
ಟೋಕನ್ ಬೆಲೆ ನಿಗದಿಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ
ಟೋಕನ್ ಆಧಾರಿತ API ಬೆಲೆಯ ದರವು ಮಾಡೆಲ್ ಮತ್ತು ಟೋಕನ್ ವರ್ಗವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಇನ್ಪುಟ್, ಕ್ಯಾಶ್ ಮಾಡಿದ ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ಬೆಲೆಗಳು ಭಿನ್ನವಾಗಿರಬಹುದು. ಇತರ API ಸಾಮರ್ಥ್ಯಗಳು ವಿಭಿನ್ನ ಬಿಲ್ಲಿಂಗ್ ಘಟಕಗಳನ್ನು ಬಳಸಬಹುದು.
ಪ್ರಸ್ತುತ ದರಗಳಿಗಾಗಿ API ಬೆಲೆ ಪುಟ ಪರಿಶೀಲಿಸಿ.
ಮಾಡೆಲ್ಗಳನ್ನು ಹೋಲಿಸುವಾಗ, ನಿಮ್ಮ ಕಾರ್ಯವನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಬೇಕಾದ ಒಟ್ಟು ಟೋಕನ್ಗಳು ಮತ್ತು ವೆಚ್ಚವನ್ನು ಪರಿಗಣಿಸಿ. ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್ಗಳಿಗೆ ಕಡಿಮೆ ಬೆಲೆ ಇದ್ದರೂ ಒಟ್ಟು ವೆಚ್ಚ ಕಡಿಮೆಯಾಗಬೇಕೆಂದಿಲ್ಲ: ಮಾಡೆಲ್ಗಳು ಒಂದೇ ಪಠ್ಯವನ್ನು ವಿಭಿನ್ನವಾಗಿ ಟೋಕನೈಸ್ ಮಾಡಬಹುದು ಮತ್ತು ವಿಭಿನ್ನ ಪ್ರಮಾಣದ ಔಟ್ಪುಟ್ ಅಥವಾ ರೀಜನಿಂಗ್ ರಚಿಸಬಹುದು.
ಗೋಚರಿಸುವ ಪ್ರತಿಕ್ರಿಯೆಯ ಉದ್ದವನ್ನು ಮಾತ್ರ ಹೋಲಿಸುವ ಬದಲು ಪ್ರಾತಿನಿಧಿಕ ಕಾರ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ.
ಬಹು ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಳನ್ನು ಪರಿಗಣಿಸಿ
ಎಂಡ್ಪಾಯಿಂಟ್ ಮತ್ತು ಮಾಡೆಲ್ ಬಹು ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಳನ್ನು ರಚಿಸಲು ಬೆಂಬಲಿಸಿದಾಗ, ಆ ಹೆಚ್ಚುವರಿ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಳೂ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ.
Chat Completions ನಲ್ಲಿ n ಅನ್ನು 1ಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಹೊಂದಿಸಿದರೆ ಹಲವು ಆಯ್ಕೆಗಳು ರಚನೆಯಾಗುತ್ತವೆ. ಆ ಆಯ್ಕೆಗಳಾದ್ಯಂತ ರಚಿಸಲಾದ ಟೋಕನ್ಗಳಿಗೆ ನಿಮಗೆ ಶುಲ್ಕ ವಿಧಿಸಲಾಗುತ್ತದೆ.
ಹಳೆಯ Completions APIಯಲ್ಲಿ best_of, ಎಲ್ಲವನ್ನೂ ಹಿಂತಿರುಗಿಸದಿದ್ದರೂ ಹಲವು ಅಭ್ಯರ್ಥಿಗಳನ್ನು ರಚಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, best_of = 3 ಅಭ್ಯರ್ಥಿಗಳಾದ್ಯಂತ ಗರಿಷ್ಠ 3 × max_tokens ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಟೋಕನ್ಗಳನ್ನು ರಚಿಸಬಹುದು.
ಈ ಪ್ಯಾರಾಮೀಟರ್ಗಳು ಎಂಡ್ಪಾಯಿಂಟ್ಗೆ ನಿರ್ದಿಷ್ಟವಾಗಿವೆ. n ಅಥವಾ best_of ಅನ್ನು ಮತ್ತೊಂದು API ಅಥವಾ ಮಾಡೆಲ್ ಬೆಂಬಲಿಸುತ್ತದೆ ಎಂದು ಭಾವಿಸಬೇಡಿ.