रेट लिमिट्स का परिचय
रेट लिमिट्स वे प्रतिबंध हैं जो हमारा API एक निर्धारित समयावधि के भीतर किसी उपयोगकर्ता या क्लाइंट द्वारा हमारी सेवाओं तक कितनी बार पहुँच बनाई जा सकती है, इस पर लगाता है।
रेट लिमिट्स को क्वांटाइज़ किया जा सकता है, यानी उन्हें कम समयावधियों में लागू किया जाता है (उदा. 60,000 अनुरोध/मिनट को 1,000 अनुरोध/सेकंड के रूप में लागू किया जा सकता है)। अनुरोधों के छोटे-छोटे बर्स्ट भेजना या बहुत लंबे कॉन्टेक्स्ट (प्रॉम्प्ट+max_completion_tokens) भेजना रेट लिमिट त्रुटियों का कारण बन सकता है, भले ही तकनीकी रूप से आप प्रति मिनट वाली रेट लिमिट से नीचे हों।
रेट लिमिट त्रुटियों को रोकने के लिए सर्वोत्तम प्रथाएँ
डिफ़ॉल्ट org
अगर आप अलग-अलग बिलिंग प्लान और उपयोग टियर वाले कई orgs से जुड़े हैं, तो सुनिश्चित करें कि आपकी डिफ़ॉल्ट संगठन सही org पर सेट है, ताकि जब आप अपने API keys के साथ अनुरोध करें तो डिफ़ॉल्ट रूप से किस संगठन का उपयोग होगा, यह नियंत्रित किया जा सके।
एक्सपोनेंशियल बैकऑफ़
अपने कोड में एक्सपोनेंशियल बैकऑफ़ लॉजिक शामिल करें। यह विफल अनुरोधों को पकड़कर फिर से कोशिश करेगा।
टोकन लिमिट्स
अपने कम्प्लीशन्स के आकार के अनुसार max_completion_tokens को कम करें। उपयोग की ज़रूरतों का अनुमान इसी मान से लगाया जाता है, इसलिए इसे कम करने से यह संभावना घटेगी कि आपको अनपेक्षित रूप से रेट लिमिट त्रुटि मिले। उदाहरण के लिए, अगर आपका प्रॉम्प्ट लगभग 400 टोकन के कम्प्लीशन्स बनाता है, तो max_tokens का मान भी लगभग उतने ही आकार का होना चाहिए।
अपने प्रॉम्प्ट्स को ऑप्टिमाइज़ करें। आप ऐसा अपनी निर्देशों को छोटा करके, अतिरिक्त शब्द हटाकर, और अतिरिक्त उदाहरणों से छुटकारा पाकर कर सकते हैं। इन बदलावों के बाद आपको अपने प्रॉम्प्ट पर काम करने और उसे टेस्ट करने की ज़रूरत पड़ सकती है ताकि यह सुनिश्चित हो सके कि वह अभी भी अच्छी तरह काम करता है। छोटे प्रॉम्प्ट का अतिरिक्त फायदा यह है कि आपकी लागत कम होती है। अगर आपको मदद चाहिए, तो हमें बताइए।
उपयोग टियर
अगर आपने ये सर्वोत्तम प्रथाएँ लागू कर ली हैं लेकिन फिर भी रेट लिमिट त्रुटियों का सामना कर रहे हैं, तो आप अपना उपयोग टियर बढ़ाकर अपनी रेट लिमिट्स बढ़ा सकते हैं। आप अपनी वर्तमान रेट लिमिट्स, अपना वर्तमान उपयोग टियर, और अपना उपयोग टियर/लिमिट्स कैसे बढ़ाएँ—यह सब अपने अकाउंट सेटिंग्स के Limits सेक्शन में देख सकते हैं।
आगे पढ़ें
उपयोग टियर्स और रेट लिमिट्स पर हमारे विस्तृत दस्तावेज़ यहाँ देखें।