अब हम Enterprise API ग्राहकों के लिए प्राथमिकता प्रोसेसिंग प्रदान करते हैं, जो कुछ मॉडलों पर तेज़ और अधिक सुसंगत परफ़ॉर्मेंस का एक्सेस चाहते हैं। नीचे यह कैसे काम करता है, कीमत, मॉडल उपलब्धता, रेट लिमिट, विश्वसनीयता, नीतियाँ और पात्रता से जुड़े सामान्य सवालों के जवाब दिए गए हैं।

और जानें यहाँ।

एक्सेस

प्राथमिकता प्रोसेसिंग का एक्सेस किसे मिल सकता है?

प्राथमिकता प्रोसेसिंग फ़िलहाल Enterprise ग्राहकों के लिए उपलब्ध है।

क्या प्राथमिकता प्रोसेसिंग सभी क्षेत्रों में उपलब्ध है?

प्राथमिकता प्रोसेसिंग की उपलब्धता हर क्षेत्राधिकार में लागू कानूनों और नियमों पर निर्भर करती है। अपने क्षेत्र में उपलब्धता को लेकर अगर आपके कोई सवाल हैं, तो कृपया अपने Account Director से संपर्क करें।

कीमत

मैं प्राथमिकता प्रोसेसिंग का उपयोग शुरू कैसे करूँ?

ग्राहक मौजूदा service_tier पैरामीटर का उपयोग करके प्रति-रिक्वेस्ट आधार पर ट्रैफ़िक को प्राथमिकता प्रोसेसिंग पर भेज सकते हैं, विकल्प service_tier="priority" के साथ।

यह Scale Tier के साथ कैसे इंटरैक्ट करता है?

Scale Tier प्राथमिकता प्रोसेसिंग से अलग ही रहेगा। प्राथमिकता प्रोसेसिंग पर भेजी गई रिक्वेस्ट्स का बिल अलग से बनेगा और वे आपके खरीदे गए Scale Tier TPM बंडल्स में नहीं गिनी जाएँगी।

क्या मैं अपने Scale Tier spillover ट्रैफ़िक को अपने-आप प्राथमिकता प्रोसेसिंग पर भेज सकता/सकती हूँ?

नहीं। Scale Tier पर भेजा गया ट्रैफ़िक अपने-आप प्राथमिकता प्रोसेसिंग में spill over नहीं होगा।

प्राथमिकता प्रोसेसिंग का बिल कैसे बनता है?

प्राथमिकता प्रोसेसिंग द्वारा सर्व किए गए टोकन्स का बिल प्रति-टोकन आधार पर बनेगा, जिसकी कीमत Standard प्रोसेसिंग दरों की तुलना में प्रीमियम होगी।

क्या मेरी वार्षिक प्रतिबद्धता किसी खास प्रोसेसिंग मोड से जुड़ी है?

नहीं। सभी प्रोसेसिंग मोड आपके वार्षिक Enterprise खर्च प्रतिबद्धता में गिने जाते हैं।

क्या Cached input tokens पर मुझे अभी भी छूट मिलती है?

हाँ! Cached Inputs को वही 50–75% छूट मिलती है जो Standard प्रोसेसिंग में मिलती है।

मैं अपनी प्राथमिकता प्रोसेसिंग उपयोग और खर्च कैसे देखूँ?

प्राथमिकता प्रोसेसिंग द्वारा प्रोसेस किए गए टोकन्स देखने के लिए Usage डैशबोर्ड पर जाएँ, Chat Completions या Responses चुनें, और Group by Service Tier चुनें। प्राथमिकता प्रोसेसिंग की लागत देखने के लिए Usage डैशबोर्ड पर जाएँ, और Group by Line Item चुनें।

मॉडल

क्या long context, fine-tuned मॉडल, embeddings, आदि के लिए प्राथमिकता प्रोसेसिंग उपलब्ध है?

अभी नहीं। भविष्य में हम मूल्यांकन करेंगे कि हमारे नवीनतम मॉडलों से आगे अतिरिक्त प्रोडक्ट्स पर प्राथमिकता प्रोसेसिंग उपलब्ध कराई जाए या नहीं।

अन्य modalities प्राथमिकता प्रोसेसिंग के साथ कैसे काम करती हैं?

प्राथमिकता प्रोसेसिंग Standard पर उपलब्ध वही मल्टीमॉडल क्षमताएँ सपोर्ट करती है। विशेष रूप से, इमेजेज़ को प्राथमिकता प्रोसेसिंग के लिए इनपुट के रूप में उपयोग किया जा सकता है और उन्हें उसी तेज़ लेटेंसी के साथ प्रोसेस किया जाता है।

क्या भविष्य के मॉडल सपोर्ट किए जाएँगे?

हम नए GPT मॉडलों पर प्राथमिकता प्रोसेसिंग देने की योजना रखते हैं, लेकिन हम यह गारंटी नहीं देते कि हर मॉडल सपोर्ट होगा।

रेट लिमिट

रेट लिमिट्स क्या हैं?

रेट लिमिट के लिए प्राथमिकता प्रोसेसिंग की खपत को standard API ट्रैफ़िक की तरह ही माना जाता है।

ramp रेट लिमिट्स क्या हैं?

सभी ग्राहकों के लिए लगातार उच्च परफ़ॉर्मेंस सुनिश्चित करने के लिए, और साथ ही लचीली on-demand कीमत प्रदान करने के लिए, प्राथमिकता प्रोसेसिंग में ramp रेट लिमिट्स होती हैं। यदि (a) प्राथमिकता प्रोसेसिंग परफ़ॉर्मेंस खराब हो रही हो AND (b) किसी ग्राहक का ट्रैफ़िक बहुत तेज़ी से ramp हो रहा हो, तो दुर्लभ परिस्थितियों में कुछ Priority रिक्वेस्ट्स को इसके बजाय Standard प्रोसेसिंग में डाउनग्रेड किया जा सकता है।

वर्तमान प्राथमिकता प्रोसेसिंग ramp रेट लिमिट हमारी मुख्य डॉक्यूमेंटेशन में यहाँ पर परिभाषित है।

अपने ramp रेट लिमिट के भीतर रहने के लिए best practices

• मॉडल बदलते समय ट्रैफ़िक को धीरे-धीरे बढ़ाएँ। उदाहरण के लिए, यदि आपका एप्लिकेशन पिछले स्नैपशॉट से नए स्नैपशॉट पर जा रहा है, तो एक feature flag का उपयोग करके कुछ घंटों के दौरान ट्रैफ़िक ट्रांज़िशन करें, बजाय इसके कि सब कुछ एक साथ कर दें।

• प्राथमिकता प्रोसेसिंग पर बड़े डेटा प्रोसेसिंग या asynchronous jobs चलाने से बचें। ये जॉब्स ट्रैफ़िक को बहुत तेज़ी से ramp कर सकते हैं, और अक्सर इन्हें प्राथमिकता प्रोसेसिंग की बेहतर परफ़ॉर्मेंस की ज़रूरत नहीं होती।

• अगर आपको नियमित रूप से ramp रेट लिमिट्स का सामना करना पड़ता है, तो इसके बजाय Scale tier quota खरीदने पर विचार करें।

क्या ramp रेट लिमिट्स मेरे प्रोजेक्ट्स या संगठनों में साझा होती हैं?

हाँ, आपका सारा ट्रैफ़िक उसी ramp रेट लिमिट में योगदान देता है।

नीतियाँ

अगर प्राथमिकता प्रोसेसिंग लेटेंसी लक्ष्य को पूरा नहीं कर रही हो तो क्या होता है?

किसी भी सवाल या चिंता के लिए कृपया अपने AD से संपर्क करें। प्राथमिकता प्रोसेसिंग SLAs को Scale Tier SLAs की तरह ही माना जाएगा; किसी निर्धारित समय-खिड़की में Enterprise एग्रीमेंट वाले ग्राहकों के लिए अगर हम उन SLAs को पूरा करने में विफल रहते हैं, तो सेवा क्रेडिट्स दिए जाएँगे।

क्या प्राथमिकता प्रोसेसिंग Data Residency के साथ संगत है?

हाँ।

क्या प्राथमिकता प्रोसेसिंग ZDR और BAA के साथ संगत है?

हाँ।