यह कैसे काम करता है

ग्राहक मौजूदा service_tier पैरामीटर में service_tier = "fast" विकल्प का उपयोग करके हर अनुरोध के लिए ट्रैफ़िक को तेज़ मोड पर भेज सकते हैं.

तेज़ मोड से उपलब्ध कराए गए टोकन का बिल प्रति टोकन के आधार पर बनेगा और उनकी कीमत मानक प्रसंस्करण दरों से अधिक होगी.

अनुरोध के स्तर पर कॉन्फ़िगर करने के अलावा, आप परियोजना सेटिंग्स > डिफ़ॉल्ट सर्विस टियर: तेज़ में किसी परियोजना के लिए तेज़ मोड को डिफ़ॉल्ट भी बना सकते हैं. आप हर अनुरोध के लिए इसे अब भी ओवरराइड कर सकते हैं. अपनी परियोजना सेटिंग्स में तेज़ चुनना, प्राथमिकता चुनने के समान है.

यह स्केल टियर के साथ कैसे काम करता है?

स्केल टियर, तेज़ मोड से अलग रहेगा. तेज़ मोड को भेजे गए अनुरोधों का बिल अलग से बनेगा और उन्हें आपके खरीदे गए स्केल टियर TPM बंडलों में नहीं गिना जाएगा.

क्या मैं अपने स्केल टियर के अतिरिक्त ट्रैफ़िक को अपने-आप तेज़ मोड पर भेज सकता हूँ?

नहीं. स्केल टियर को भेजा गया ट्रैफ़िक अपने-आप तेज़ मोड पर स्थानांतरित नहीं होगा.

तेज़ मोड का बिल कैसे बनाया जाता है?

तेज़ मोड से उपलब्ध कराए गए टोकन का बिल प्रति टोकन के आधार पर बनेगा और उनकी कीमत मानक प्रसंस्करण दरों से अधिक होगी.

क्या मेरी वार्षिक प्रतिबद्धता किसी खास प्रसंस्करण मोड से जुड़ी है?

नहीं. सभी प्रसंस्करण मोड आपकी वार्षिक एंटरप्राइज़ व्यय प्रतिबद्धता में गिने जाते हैं.

क्या कैश किए गए इनपुट टोकन पर मुझे अब भी छूट मिलेगी?

हाँ! कैश किए गए इनपुट पर वही 50-75% छूट मिलती है, जो मानक प्रसंस्करण में मिलती है.

मैं तेज़ मोड का अपना उपयोग और व्यय कैसे देखूँ?

तेज़ मोड, जिसे पहले प्राथमिकता प्रसंस्करण कहा जाता था, द्वारा प्रसंस्कृत टोकन देखने के लिए उपयोग डैशबोर्ड पर जाएँ, चैट पूर्णताएँ या प्रतिक्रियाएँ चुनें और सर्विस टियर के अनुसार समूह बनाएँ.

तेज़ मोड की लागत देखने के लिए उपयोग डैशबोर्ड पर जाएँ और पंक्ति मद के अनुसार समूह बनाएँ चुनें.

उपयोग डैशबोर्ड पर service_tier के रूप में priority या fast का उपयोग करने वाले अनुरोध priority के रूप में ही दिखाई देते रहेंगे. इसे भविष्य के मॉडल के लिए अपडेट किया जाएगा.

मॉडल

क्या तेज़ मोड लंबे संदर्भ, बेहतर बनाए गए मॉडल, एम्बेडिंग आदि के लिए उपलब्ध है?

फिलहाल नहीं. हम भविष्य में इस बात का आकलन करेंगे कि अपने नवीनतम मॉडल के अलावा अन्य उत्पादों पर भी तेज़ मोड उपलब्ध कराया जाए या नहीं.

तेज़ मोड के साथ अन्य माध्यम कैसे काम करते हैं?

तेज़ मोड वही बहु-माध्यम क्षमताएँ समर्थित करता है, जो मानक मोड में उपलब्ध हैं. विशेष रूप से, छवियों को प्राथमिकता प्रसंस्करण के इनपुट के रूप में उपयोग किया जा सकता है और उन्हें उतनी ही कम विलंबता के साथ प्रसंस्कृत किया जाता है.

क्या भविष्य के मॉडल समर्थित होंगे?

हम नए GPT मॉडल पर तेज़ मोड उपलब्ध कराने की योजना बना रहे हैं, लेकिन हम यह गारंटी नहीं देते कि हर मॉडल समर्थित होगा.

रेट लिमिट

रेट लिमिट क्या हैं?

रेट लिमिट के लिए प्राथमिकता प्रसंस्करण के उपयोग को मानक API ट्रैफ़िक के समान माना जाता है.

ट्रैफ़िक-वृद्धि की रेट लिमिट क्या हैं?

सभी ग्राहकों के लिए लगातार उच्च प्रदर्शन सुनिश्चित करने और माँग के अनुसार सुविधाजनक कीमतें देने के लिए तेज़ मोड में ट्रैफ़िक-वृद्धि की रेट लिमिट हैं. अगर (a) तेज़ मोड का प्रदर्शन घटता है और (b) किसी ग्राहक का ट्रैफ़िक बहुत तेज़ी से बढ़ता है, तो कुछ दुर्लभ मामलों में कुछ अनुरोधों को मानक प्रसंस्करण पर भेजा जा सकता है.

तेज़ मोड की मौजूदा ट्रैफ़िक-वृद्धि रेट लिमिट की परिभाषा हमारे मुख्य दस्तावेज़ में यहाँ दी गई है.

अपनी ट्रैफ़िक-वृद्धि रेट लिमिट के भीतर रहने के सर्वोत्तम तरीके

मॉडल बदलते समय ट्रैफ़िक धीरे-धीरे बढ़ाएँ. उदाहरण के लिए, अगर आपका अनुप्रयोग पिछले स्नैपशॉट से नए स्नैपशॉट पर जा रहा है, तो सारा ट्रैफ़िक एक साथ भेजने के बजाय कुछ घंटों में धीरे-धीरे स्थानांतरित करने के लिए सुविधा ध्वज का उपयोग करें.

तेज़ मोड पर बड़े डेटा प्रसंस्करण या अतुल्यकालिक कार्य चलाने से बचें. ये कार्य ट्रैफ़िक को बहुत तेज़ी से बढ़ा सकते हैं और इन्हें अक्सर तेज़ मोड के बेहतर प्रदर्शन की आवश्यकता नहीं होती.

अगर आपको नियमित रूप से ट्रैफ़िक-वृद्धि की रेट लिमिट का सामना करना पड़ता है, तो इसके बजाय स्केल टियर कोटा खरीदने पर विचार करें.

क्या ट्रैफ़िक-वृद्धि की रेट लिमिट मेरी परियोजनाओं या संगठनों के बीच साझा होती हैं?

हाँ, आपका पूरा ट्रैफ़िक एक ही ट्रैफ़िक-वृद्धि रेट लिमिट में योगदान देता है.

नीतियाँ

अगर तेज़ मोड विलंबता का लक्ष्य पूरा नहीं करता, तो क्या होगा?

किसी भी सवाल या चिंता के लिए कृपया अपने AD से संपर्क करें. तेज़ मोड के SLA को स्केल टियर के SLA के समान माना जाएगा. अगर किसी समयावधि में हम एंटरप्राइज़ अनुबंध वाले ग्राहकों के लिए वे SLA पूरे नहीं कर पाते, तो सेवा क्रेडिट्स दिए जाएंगे.

क्या तेज़ मोड डेटा रेज़िडेंसी के अनुकूल है?

हाँ.

क्या तेज़ मोड ZDR और BAA के अनुकूल है?

हाँ.