रेट मर्यादांची ओळख

रेट मर्यादा म्हणजे आमचे API एखाद्या वापरकर्त्याला किंवा क्लायंटला निर्दिष्ट कालावधीत आमच्या सेवांमध्ये किती वेळा प्रवेश करता येईल यावर घालणारी बंधने आहेत.

रेट मर्यादा क्वांटाइझ केल्या जाऊ शकतात, म्हणजे त्या कमी कालावधीत लागू केल्या जातात (उदा. 60,000 विनंत्या/मिनिट या 1,000 विनंत्या/सेकंद म्हणून लागू केल्या जाऊ शकतात). विनंत्यांचे छोटे झटके पाठवणे किंवा खूप लांब संदर्भ (prompts+max_completion_tokens) पाठवणे यामुळे, तुम्ही तांत्रिकदृष्ट्या प्रति मिनिट रेट मर्यादेपेक्षा कमी असलात तरीही, रेट मर्यादा त्रुटी येऊ शकतात.

रेट मर्यादा त्रुटी टाळण्यासाठी सर्वोत्तम पद्धती

डीफॉल्ट संस्था

तुम्ही वेगवेगळ्या बिलिंग योजना आणि वापर स्तर असलेल्या अनेक संस्थांचे सदस्य असल्यास, तुमच्या API कीसह विनंत्या करताना कोणती संस्था डीफॉल्टने वापरली जाईल हे नियंत्रित करण्यासाठी तुमची डीफॉल्ट संस्था योग्य संस्थेवर सेट केली आहे याची खात्री करा.

एक्स्पोनेंशियल बॅकऑफ

तुमच्या कोडमध्ये एक्स्पोनेंशियल बॅकऑफ लॉजिक समाविष्ट करा. हे अयशस्वी विनंत्या पकडेल आणि पुन्हा प्रयत्न करेल.

टोकन मर्यादा

तुमच्या पूर्णतांच्या आकाराशी जुळण्यासाठी max_completion_tokens कमी करा. वापराच्या गरजा या मूल्यावरून अंदाजल्या जातात, त्यामुळे ते कमी केल्यास तुम्हाला अनपेक्षितपणे रेट मर्यादा त्रुटी येण्याची शक्यता कमी होईल. उदाहरणार्थ, तुमचा प्रॉम्प्ट सुमारे 400 टोकनच्या पूर्णता तयार करत असल्यास, max_tokens मूल्यही साधारण त्याच आकाराचे असावे.


तुमचे प्रॉम्प्ट ऑप्टिमाइझ करा. तुम्ही तुमच्या सूचना लहान करून, अतिरिक्त शब्द काढून टाकून आणि अतिरिक्त उदाहरणे काढून टाकून हे करू शकता. या बदलांनंतर तुमचा प्रॉम्प्ट अजूनही चांगले काम करतो याची खात्री करण्यासाठी तुम्हाला त्यावर काम करून त्याची चाचणी घ्यावी लागू शकते. लहान प्रॉम्प्टचा अतिरिक्त फायदा म्हणजे तुमचा खर्च कमी होतो. तुम्हाला मदत हवी असल्यास, आम्हाला कळवा.

वापर स्तर

तुम्ही या सर्वोत्तम पद्धती अंमलात आणल्या असल्या तरीही रेट मर्यादा त्रुटी येत असतील, तर तुम्ही तुमचा वापर स्तर वाढवून तुमच्या रेट मर्यादा वाढवू शकता. तुमच्या खाते सेटिंग्जमधील मर्यादा विभागात तुम्ही तुमच्या सध्याच्या रेट मर्यादा, सध्याचा वापर स्तर, आणि तुमचा वापर स्तर/मर्यादा कशा वाढवायच्या ते पाहू शकता.

पुढील वाचन

वापर स्तर आणि रेट मर्यादांवरील आमचे सर्वसमावेशक दस्तऐवजीकरण येथे पहा.