ದರ ಮಿತಿ ದೋಷಗಳು ('ಅತಿಯಾದ ವಿನಂತಿಗಳು', ‘ದರ ಮಿತಿ ತಲುಪಿದೆ’) ನಿಮ್ಮ ಸಂಸ್ಥೆಯ ದರ ಮಿತಿ ತಲುಪುವುದರಿಂದ ಉಂಟಾಗುತ್ತವೆ; ಇದು ಪ್ರತಿ ನಿಮಿಷಕ್ಕೆ ಸಲ್ಲಿಸಬಹುದಾದ ಗರಿಷ್ಠ ವಿನಂತಿಗಳು ಮತ್ತು ಟೋಕನ್ಗಳ ಸಂಖ್ಯೆಯಾಗಿದೆ. ಮಿತಿಯನ್ನು ತಲುಪಿದರೆ, ದರ ಮಿತಿಯನ್ನು ಮರುಹೊಂದಿಸುವವರೆಗೆ ಸಂಸ್ಥೆಯು ವಿನಂತಿಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಸಲ್ಲಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ದೋಷ ಸಂದೇಶವು ಹೀಗಿರುತ್ತದೆ:
ಪ್ರತಿ ನಿಮಿಷದ ಟೋಕನ್ಗಳ ಮೇಲೆ org-exampleorgid123 ಸಂಸ್ಥೆಯಲ್ಲಿ gpt-3.5-turbo ಗಾಗಿ ರೇಟ್ ಮಿತಿಯನ್ನು ತಲುಪಲಾಗಿದೆ.
ಮಿತಿ: 10000.000000 / ನಿಮಿಷ. ಪ್ರಸ್ತುತ: 10020.000000 / ನಿಮಿಷ. ಈ ದೋಷಗಳನ್ನು ಘಾತೀಯ ಬ್ಯಾಕ್ಆಫ್ ಬಳಸಿ ನಿರ್ವಹಿಸಲು ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ. ಘಾತೀಯ ಬ್ಯಾಕ್ಆಫ್ ಎಂದರೆ ದರ ಮಿತಿ ದೋಷ ಎದುರಾದಾಗ ಸ್ವಲ್ಪ ವಿರಾಮ ತೆಗೆದುಕೊಂಡು, ನಂತರ ವಿಫಲವಾದ ವಿನಂತಿಯನ್ನು ಮರುಪ್ರಯತ್ನಿಸುವುದು. ವಿನಂತಿ ಇನ್ನೂ ವಿಫಲವಾದರೆ, ವಿರಾಮದ ಅವಧಿಯನ್ನು ಹೆಚ್ಚಿಸಿ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಮರುಕಳಿಸಲಾಗುತ್ತದೆ. ವಿನಂತಿ ಯಶಸ್ವಿಯಾಗುವವರೆಗೆ ಅಥವಾ ಗರಿಷ್ಠ ಸಂಖ್ಯೆಯ ಮರುಪ್ರಯತ್ನಗಳನ್ನು ತಲುಪುವವರೆಗೆ ಇದು ಮುಂದುವರಿಯುತ್ತದೆ.
ವಿಫಲವಾದ ವಿನಂತಿಗಳು ನಿಮ್ಮ ನಿಮಿಷಕ್ಕೆ ಇರುವ ಮಿತಿಗೆ ಸೇರುವುದರಿಂದ, ವಿನಂತಿಯನ್ನು ನಿರಂತರವಾಗಿ ಮರುಕಳುಹಿಸುವುದು ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ. ದರ ಮಿತಿಗಳನ್ನು ಕಡಿಮೆ ಅವಧಿಗಳಿಗೂ ಅನ್ವಯಿಸಬಹುದು - ಉದಾಹರಣೆಗೆ, 60 RPM ಮಿತಿಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 1 ವಿನಂತಿ - ಅಂದರೆ ಅಲ್ಪಾವಧಿಯ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ವಿನಂತಿ ಸ್ಫೋಟಗಳೂ ದರ ಮಿತಿ ದೋಷಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು. ಈ ದೋಷಗಳ ಆವೃತ್ತಿಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ವಿನಂತಿಗಳ ನಡುವೆ ಅಂತರ ಇರಿಸುವ ಮೂಲಕ ಘಾತೀಯ ಬ್ಯಾಕ್ಆಫ್ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
Python ನಲ್ಲಿ, ಘಾತೀಯ ಬ್ಯಾಕ್ಆಫ್ ಪರಿಹಾರವು ಹೀಗಿರಬಹುದು:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(ದಯವಿಟ್ಟು ಗಮನಿಸಿ: backoff ಲೈಬ್ರರಿಯು ತೃತೀಯ-ಪಕ್ಷದ ಸಾಧನವಾಗಿದೆ. ತಮ್ಮ ಯೋಜನೆಗಳಿಗಾಗಿ ಯಾವುದೇ ಬಾಹ್ಯ ಕೋಡ್ ಅನ್ನು ಪರಿಶೀಲಿಸುವಾಗ ನಮ್ಮ ಎಲ್ಲಾ ಗ್ರಾಹಕರು ಸೂಕ್ತ ಜಾಗರೂಕತೆ ವಹಿಸುವಂತೆ ನಾವು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತೇವೆ.)
ಘಾತೀಯ ಬ್ಯಾಕ್ಆಫ್ ಜಾರಿಗೆ ತಂದರೂ ಈ ದೋಷ ಮುಂದುವರಿದರೆ, ನೀವು ನಿಮ್ಮ ಬಳಕೆ ಹಂತವನ್ನು ಹೆಚ್ಚಿಸಬೇಕಾಗಬಹುದು. ನಿಮ್ಮ ಪ್ರಸ್ತುತ ದರ ಮಿತಿಗಳನ್ನು ಮತ್ತು ನಿಮ್ಮ ದರ ಮಿತಿಗಳನ್ನು ಹೆಚ್ಚಿಸಲು ನಿಮ್ಮ ವಿಶ್ವಾಸ ಹಂತವನ್ನು ಹೇಗೆ ಹೆಚ್ಚಿಸಬಹುದು ಎಂಬುದನ್ನು ನಿಮ್ಮ ಖಾತೆ ಸೆಟ್ಟಿಂಗ್ಗಳ ಮಿತಿಗಳ ವಿಭಾಗದಲ್ಲಿ ನೋಡಬಹುದು.