अब हम उन एंटरप्राइज़ API ग्राहकों के लिए प्रायोरिटी प्रोसेसिंग पेश कर रहे हैं, जो कुछ मॉडलों पर तेज़ और अधिक सुसंगत प्रदर्शन का एक्सेस चाहते हैं. नीचे इसके काम करने के तरीके, कीमत, मॉडल उपलब्धता, रेट लिमिट, विश्वसनीयता, नीतियों और पात्रता के बारे में आम सवालों के जवाब दिए गए हैं.
अधिक जानें यहाँ.
एक्सेस
प्रायोरिटी प्रोसेसिंग का एक्सेस किसे मिल सकता है?
प्रायोरिटी प्रोसेसिंग अभी एंटरप्राइज़ ग्राहकों के लिए उपलब्ध है.
क्या प्रायोरिटी प्रोसेसिंग सभी क्षेत्रों में उपलब्ध है?
प्रायोरिटी प्रोसेसिंग की उपलब्धता हर क्षेत्राधिकार में लागू कानूनों और विनियमों पर निर्भर करती है. अगर आपके क्षेत्र में उपलब्धता के बारे में आपके सवाल हैं, तो कृपया अपने अकाउंट डायरेक्टर से संपर्क करें.
कीमत
मैं प्रायोरिटी प्रोसेसिंग का उपयोग कैसे शुरू करूँ?
ग्राहक मौजूदा service_tier पैरामीटर का उपयोग करके, service_tier="priority" विकल्प के साथ, प्रत्येक अनुरोध के आधार पर ट्रैफ़िक को प्रायोरिटी प्रोसेसिंग पर भेज सकते हैं.
यह स्केल टियर के साथ कैसे काम करता है?
स्केल टियर प्रायोरिटी प्रोसेसिंग से अलग रहेगा. प्रायोरिटी प्रोसेसिंग को भेजे गए अनुरोधों का बिल अलग से बनेगा और वे आपके खरीदे गए स्केल टियर TPM बंडल में नहीं गिने जाएँगे.
क्या मैं अपने स्केल टियर के स्पिलओवर ट्रैफ़िक को अपने-आप प्रायोरिटी प्रोसेसिंग पर भेज सकता हूँ?
नहीं. स्केल टियर को भेजा गया ट्रैफ़िक अपने-आप प्रायोरिटी प्रोसेसिंग पर स्पिल ओवर नहीं होगा.
प्रायोरिटी प्रोसेसिंग का बिल कैसे बनाया जाता है?
प्रायोरिटी प्रोसेसिंग द्वारा सर्व किए गए टोकन का बिल प्रति-टोकन आधार पर बनेगा, जिसकी कीमत स्टैंडर्ड प्रोसेसिंग दरों की तुलना में प्रीमियम होगी.
क्या मेरी वार्षिक प्रतिबद्धता किसी विशेष प्रोसेसिंग मोड से जुड़ी है?
नहीं. सभी प्रोसेसिंग मोड आपके वार्षिक एंटरप्राइज़ खर्च प्रतिबद्धता में गिने जाते हैं.
क्या मुझे कैश्ड इनपुट टोकन पर अब भी छूट मिलती है?
हाँ! कैश्ड इनपुट को वही 50-75% छूट मिलती है जो उन्हें स्टैंडर्ड प्रोसेसिंग में मिलती है.
मैं अपने प्रायोरिटी प्रोसेसिंग उपयोग और खर्च को कैसे देखूँ?
प्रायोरिटी प्रोसेसिंग द्वारा प्रोसेस किए गए टोकन देखने के लिए, उपयोग डैशबोर्ड पर जाएँ, चैट कम्प्लीशन्स या रिस्पॉन्सेस चुनें, और सर्विस टियर के अनुसार समूहित करें. प्रायोरिटी प्रोसेसिंग लागत देखने के लिए, उपयोग डैशबोर्ड पर जाएँ, और लाइन आइटम के अनुसार समूहित करें चुनें.
मॉडल
क्या प्रायोरिटी प्रोसेसिंग लंबे कॉन्टेक्स्ट, फ़ाइन-ट्यून किए गए मॉडलों, एम्बेडिंग आदि के लिए उपलब्ध है?
फ़िलहाल नहीं. हम भविष्य में मूल्यांकन करेंगे कि अपने नवीनतम मॉडलों से आगे अतिरिक्त उत्पादों पर प्रायोरिटी प्रोसेसिंग की पेशकश की जाए या नहीं.
प्रायोरिटी प्रोसेसिंग के साथ अन्य मोडैलिटी कैसे काम करती हैं?
प्रायोरिटी प्रोसेसिंग, स्टैंडर्ड पर उपलब्ध समान मल्टीमोडल क्षमताओं का समर्थन करती है. विशेष रूप से, छवियों को प्रायोरिटी प्रोसेसिंग में इनपुट के रूप में इस्तेमाल किया जा सकता है और उन्हें समान तेज़ लेटेंसी के साथ प्रोसेस किया जाता है.
क्या भविष्य के मॉडल समर्थित होंगे?
हम नए GPT मॉडलों पर प्रायोरिटी प्रोसेसिंग पेश करने की योजना रखते हैं, लेकिन हम यह गारंटी नहीं देते कि हर मॉडल समर्थित होगा.
रेट लिमिट
रेट लिमिट क्या हैं?
रेट लिमिट के लिए प्रायोरिटी प्रोसेसिंग की खपत को स्टैंडर्ड API ट्रैफ़िक के समान माना जाता है.
रैंप रेट लिमिट क्या हैं?
प्रायोरिटी प्रोसेसिंग में रैंप रेट लिमिट होती हैं, ताकि सभी ग्राहकों के लिए लगातार उच्च प्रदर्शन सुनिश्चित हो, साथ ही लचीली, ऑन-डिमांड कीमत भी मिलती रहे. अगर (a) प्रायोरिटी प्रोसेसिंग का प्रदर्शन घट गया है और (b) किसी ग्राहक का ट्रैफ़िक बहुत तेज़ी से बढ़ रहा है, तो दुर्लभ मामलों में कुछ प्रायोरिटी अनुरोधों को इसके बजाय स्टैंडर्ड प्रोसेसिंग में डाउनग्रेड किया जा सकता है.
मौजूदा प्रायोरिटी प्रोसेसिंग रैंप रेट लिमिट हमारे मुख्य दस्तावेज़ में यहाँ परिभाषित है.
अपनी रैंप रेट लिमिट के भीतर रहने के सर्वोत्तम तरीके
मॉडल बदलते समय ट्रैफ़िक को धीरे-धीरे बढ़ाएँ. उदाहरण के लिए, अगर आपका ऐप्लिकेशन पिछले स्नैपशॉट से नए स्नैपशॉट पर जा रहा है, तो सारे ट्रैफ़िक को एक साथ बदलने के बजाय कुछ घंटों के दौरान ट्रैफ़िक बदलने के लिए फ़ीचर फ़्लैग का उपयोग करें.
प्रायोरिटी प्रोसेसिंग पर बड़े डेटा प्रोसेसिंग या एसिंक्रोनस जॉब चलाने से बचें. ये जॉब ट्रैफ़िक को बहुत तेज़ी से बढ़ा सकते हैं, और अक्सर इन्हें प्रायोरिटी प्रोसेसिंग के बेहतर प्रदर्शन की आवश्यकता नहीं होती.
अगर आपको नियमित रूप से रैंप रेट लिमिट का सामना करना पड़ता है, तो इसके बजाय स्केल टियर कोटा खरीदने पर विचार करें.
क्या रैंप रेट लिमिट मेरे प्रोजेक्ट या संगठनों में साझा होती हैं?
हाँ, आपका सारा ट्रैफ़िक उसी रैंप रेट लिमिट में योगदान देता है.
नीतियाँ
अगर प्रायोरिटी प्रोसेसिंग लेटेंसी लक्ष्य को पूरा नहीं कर रही है, तो क्या होता है?
किसी भी सवाल या चिंता के लिए कृपया अपने AD से संपर्क करें. प्रायोरिटी प्रोसेसिंग SLA को स्केल टियर SLA के समान माना जाएगा; अगर किसी दिए गए समय विंडो के दौरान एंटरप्राइज़ अनुबंधों वाले ग्राहकों के लिए हम उन SLA को पूरा नहीं कर पाते हैं, तो सर्विस क्रेडिट दिए जाएँगे.
क्या प्रायोरिटी प्रोसेसिंग डेटा रेज़िडेंसी के साथ संगत है?
हाँ.
क्या प्रायोरिटी प्रोसेसिंग ZDR और BAA के साथ संगत है?
हाँ.
