रेट लिमिट का परिचय
रेट लिमिट वे प्रतिबंध हैं जो हमारी API इस बात पर लगाती है कि कोई उपयोगकर्ता या क्लाइंट किसी निर्दिष्ट समयावधि में हमारी सेवाओं को कितनी बार एक्सेस कर सकता है.
रेट लिमिट को क्वांटाइज़ किया जा सकता है, यानी वे छोटी समयावधियों में लागू की जाती हैं (जैसे 60,000 अनुरोध/मिनट को 1,000 अनुरोध/सेकंड के रूप में लागू किया जा सकता है). अनुरोधों के छोटे बर्स्ट भेजना या बहुत लंबे संदर्भ (प्रॉम्प्ट्स+max_completion_tokens) भेजना रेट लिमिट त्रुटियों का कारण बन सकता है, भले ही आप तकनीकी रूप से प्रति मिनट की रेट लिमिट से कम हों.
रेट लिमिट त्रुटियों को रोकने के सर्वोत्तम तरीके
डिफ़ॉल्ट संगठन
अगर आप अलग-अलग बिलिंग प्लान और उपयोग स्तर वाले कई संगठनों से जुड़े हैं, तो सुनिश्चित करें कि आपकी डिफ़ॉल्ट संस्था सही संगठन पर सेट हो, ताकि यह नियंत्रित हो सके कि आपकी API कुंजियों से अनुरोध करते समय डिफ़ॉल्ट रूप से कौन-सा संगठन उपयोग किया जाए.
एक्सपोनेंशियल बैकऑफ़
अपने कोड में एक्सपोनेंशियल बैकऑफ़ लॉजिक शामिल करें. यह असफल अनुरोधों को पकड़कर फिर से प्रयास करेगा.
टोकन लिमिट
अपने completions के आकार से मिलाने के लिए max_completion_tokens घटाएँ. उपयोग की ज़रूरतों का अनुमान इसी मान से लगाया जाता है, इसलिए इसे घटाने से आपके अनपेक्षित रूप से रेट लिमिट त्रुटि पाने की संभावना कम होगी. उदाहरण के लिए, अगर आपका प्रॉम्प्ट लगभग 400 टोकन के completions बनाता है, तो max_tokens मान भी लगभग इसी आकार का होना चाहिए.
अपने प्रॉम्प्ट्स को ऑप्टिमाइज़ करें. आप अपने निर्देशों को छोटा करके, अतिरिक्त शब्द हटाकर, और अतिरिक्त उदाहरणों को निकालकर ऐसा कर सकते हैं. इन बदलावों के बाद आपको अपने प्रॉम्प्ट पर काम करके उसे टेस्ट करना पड़ सकता है, ताकि सुनिश्चित हो सके कि वह अभी भी अच्छी तरह काम करता है. छोटे प्रॉम्प्ट का अतिरिक्त लाभ यह है कि आपकी लागत कम होती है. अगर आपको मदद चाहिए, तो हमें बताएँ.
उपयोग स्तर
अगर आपने ये सर्वोत्तम तरीके लागू कर लिए हैं, लेकिन फिर भी रेट लिमिट त्रुटियाँ आ रही हैं, तो आप अपना उपयोग स्तर बढ़ाकर अपनी रेट लिमिट बढ़ा सकते हैं. आप अपनी मौजूदा रेट लिमिट, अपना मौजूदा उपयोग स्तर, और अपना उपयोग स्तर/लिमिट बढ़ाने का तरीका अपने अकाउंट सेटिंग्स के लिमिट अनुभाग में देख सकते हैं.
आगे पढ़ें
उपयोग स्तरों और रेट लिमिट पर हमारा विस्तृत दस्तावेज़ यहाँ देखें.