OpenAI वेब क्रॉलर्स का उपयोग क्यों करता है?
हम ChatGPT पर विज्ञापनों के रूप में सबमिट किए गए वेब पेजों की सुरक्षा सत्यापित करने के लिए क्रॉलर का उपयोग करते हैं. जब आप कोई विज्ञापन सबमिट करते हैं, तो OpenAI यह सुनिश्चित करने के लिए लैंडिंग पेज पर जा सकता है कि वह हमारी नीतियों का अनुपालन करता है. हम यह निर्धारित करने के लिए लैंडिंग पेज की सामग्री का भी उपयोग कर सकते हैं कि उपयोगकर्ताओं को विज्ञापन दिखाना कब सबसे अधिक प्रासंगिक होगा.
आपको कौन से OpenAI क्रॉलर्स की अनुमति देनी चाहिए?
आपको OAI-AdsBot को अनुमति देनी होगी. हम सुझाव देते हैं कि आप OAI-AdsBot और OAI-SearchBot दोनों को अनुमति दें.
OpenAI क्रॉलर मेरी वेबसाइट को क्रॉल करने में विफल रहते हैं. मुझे क्या करना चाहिए?
अधिकांश वेबसाइटों में किसी क्रॉलर द्वारा किसी वेबपेज के सफलतापूर्वक एक्सेस से पहले सुरक्षा की कई परतें होती हैं. अपनी इंजीनियरिंग या सुरक्षा टीम के साथ मिलकर यह सुनिश्चित करो कि OpenAI क्रॉलर निम्नलिखित प्रत्येक परत से होकर गुजर सकें.
एक. robots.txt
robots.txt फ़ाइल क्रॉलर को बताती है कि उन्हें आपकी वेबसाइट के कुछ हिस्सों तक पहुँचने की अनुमति है या नहीं. OpenAI के क्रॉलर इन नियमों का पालन करते हैं. यदि robots.txt मे एक्सेस की अनुमति नहीं है, क्रॉलिंग तुरंत रुक जाएगी.
अपने robots.txt कॉन्फ़िगरेशन की समीक्षा करें और पुष्टि करें कि OpenAI क्रॉलर को संबंधित पेजों और पाथ तक स्पष्ट रूप से अनुमति है. उदाहरण के लिए: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
दो. वेब सुरक्षा और बॉट शमन
कई वेबसाइटें DDoS हमलों, स्क्रैपिंग और अनधिकृत ट्रैफ़िक से बचाव के लिए Cloudflare, Akamai या अन्य वेब सुरक्षा प्रदाताओं जैसी सेवाओं का उपयोग करती हैं. ये सिस्टम गलती से वैध क्रॉलर को ब्लॉक कर सकते हैं, जिससे अक्सर 403 Forbidden त्रुटियां लौटाई जाती हैं. क्योंकि OpenAI क्रॉलर स्वचालित ट्रैफ़िक पैटर्न जैसे दिख सकते हैं, इसलिए उन्हें तब तक एक्सेस अस्वीकार किया जा सकता है, जब तक कि उन्हें विशेष रूप से अनुमति सूची में शामिल न किया गया हो.
अपने वेब सुरक्षा या फ़ायरवॉल कॉन्फ़िगरेशन की समीक्षा करें और जहाँ संभव हो, OpenAI क्रॉलर ट्रैफ़िक को अनुमति सूची में जोड़ें, आदर्श रूप से हमारे क्रॉलर यूज़र एजेंट के आधार पर. आपकी इंजीनियरिंग या इन्फ्रास्ट्रक्चर टीम को ऐसे किसी भी स्वचालित बॉट निवारण नियमों की भी जाँच करनी चाहिए, जो गलत सकारात्मक परिणाम उत्पन्न कर रहे हों.
3. मानव सत्यापन और बॉट-विरोधी तर्क
कुछ वेबसाइटें यह सत्यापित करने के लिए अतिरिक्त एप्लिकेशन-स्तरीय जांच लागू करती हैं कि कोई आगंतुक मानव है, जैसे कि CAPTCHAs, JavaScript चुनौतियां, व्यवहार विश्लेषण या सत्र सत्यापन. चूंकि OpenAI क्रॉलर स्वचालित सिस्टम हैं, इसलिए ये जाँचें एक्सेस को ब्लॉक कर सकती हैं, भले ही क्रॉलर पहले के स्तरों को सफलतापूर्वक पार कर ले.
अपने ऐप में लागू किसी भी मानव-सत्यापन या एंटी-ऑटोमेशन लॉजिक की समीक्षा करें और सुनिश्चित करें कि जहाँ उपयुक्त हो, OpenAI क्रॉलर्स को छूट दी गई हो, आदर्श रूप से हमारे क्रॉलर यूज़र एजेंट्स को अनुमति-सूची में शामिल करके.
स्थिर IP रेंज के बारे में एक नोट
कुछ सुरक्षा प्रणालियों में क्रॉलर ट्रैफ़िक को विश्वसनीय रूप से अनुमति-सूची में शामिल करने से पहले उसका स्थिर, सार्वजनिक रूप से प्रलेखित IP रेंज से आना आवश्यक होता है. क्योंकि क्रॉलर अवसंरचना समय के साथ विकसित हो सकती है, आपकी इंजीनियरिंग टीम को लॉग से प्राप्त अल्पकालिक IP अवलोकनों पर ही निर्भर रहने से बचना चाहिए. इसके बजाय, user-agent पहचान, जहाँ समर्थित हो वहाँ सत्यापित bot प्रोग्राम, firewall allowlists, robots.txt व्यवहार, और प्रदाता-स्तरीय bot सत्यापन प्रणालियों के संयोजन के माध्यम से ट्रैफ़िक को सत्यापित करें.
यदि आपको IP रेंज की स्थिर सूची को अनुमति देनी ही हो, तो https://openai.com/searchbot.json और https://openai.com/adsbot.json का संदर्भ लें।
रेट लिमिटिंग पर नोट
बड़े बैच अपलोड या क्रॉलर ट्रैफ़िक में अचानक वृद्धि कभी-कभी स्वचालित रेट लिमिटिंग या बॉट सुरक्षा सिस्टम को सक्रिय कर सकती है.
यदि आपको संदेह है कि रेट लिमिटिंग हो रही है, तो अपनी इंजीनियरिंग टीम से HTTP रिस्पॉन्स कोड, विशेष रूप से 429 Too Many Requests, फ़ायरवॉल या CDN लॉग, बॉट मिटिगेशन इवेंट, अनुरोध थ्रॉटलिंग नियम, और उस समय के आसपास के ट्रैफ़िक एनालिटिक्स की समीक्षा करने के लिए कहें जब क्रॉलर ने एक्सेस करने का प्रयास किया था. इससे यह पता लगाने में मदद मिलती है कि क्या अनुरोधों को इन्फ्रास्ट्रक्चर सुरक्षा उपायों द्वारा जानबूझकर धीमा किया जा रहा है या अवरुद्ध किया जा रहा है.
आप विज्ञापनों को लंबी अवधि में छोटे-छोटे बैचों में अपलोड करने पर भी विचार कर सकते हैं.
Cloudflare पर एक नोट
OAI-AdsBot को Cloudflare ने आधिकारिक रूप से सत्यापित किया है और अनुमति-सूची में शामिल किया है.
क्रॉलर और लैंडिंग पेज अक्सर पूछे जाने वाले प्रश्न
विज्ञापन समीक्षा के लिए कौन-सा क्रॉलर आवश्यक है?
ChatGPT Ads के लैंडिंग पेज के सत्यापन और समीक्षा के लिए OAI-AdsBot आवश्यक है. OAI-SearchBot की अनुशंसा की जाती है, क्योंकि यह OpenAI को सार्वजनिक वेब सामग्री को समझने में मदद कर सकता है, लेकिन विज्ञापनों की तैयारी के लिए विज्ञापनदाताओं को OAI-AdsBot क्रॉलर को प्राथमिकता देनी चाहिए.
क्या क्रॉलर सत्यापन को मैन्युअल रूप से बायपास करने का समर्थन उपलब्ध है?
मैन्युअल बाइपास पर निर्भर न रहें. robots.txt को ठीक करके लैंडिंग पेज को OAI-AdsBot के लिए क्रॉल करने योग्य बनाएं, WAF, CDN, बॉट मिटिगेशन, प्रमाणीकरण और रेट-लिमिटिंग ब्लॉक. लैंडिंग पेज के एक्सेस योग्य हो जाने के बाद, विज्ञापनों को दोबारा अपलोड करना या समीक्षा के लिए फिर से सबमिट करना पड़ सकता है.
मेरी इंजीनियरिंग टीम को सबसे पहले क्या जांचना चाहिए?
जाँचें कि लैंडिंग पेज OAI-AdsBot को सफल HTTP प्रतिक्रिया देता है, robots.txt संबंधित पाथ की अनुमति देता है, और WAF, CDN, बॉट मिटिगेशन, JavaScript चुनौतियाँ, CAPTCHA, प्रमाणीकरण या भौगोलिक नियम स्वचालित एक्सेस को ब्लॉक करते हैं.
क्या ऐप-स्टोर लिंक, डीप लिंक या गैर-वेब गंतव्य लैंडिंग पेज के रूप में समर्थित हैं?
जब भी संभव हो, सीधे पहुँच योग्य वेब लैंडिंग पेज का उपयोग करें. ऐप-स्टोर लिंक, डीप लिंक, दस्तावेज़ या ऐसे गंतव्य जिनके लिए ऐप, लॉगिन, क्षेत्र-विशिष्ट एक्सेस या असमर्थित रीडायरेक्ट की आवश्यकता होती है, सत्यापन या समीक्षा के लिए पर्याप्त क्रॉल की जा सकने वाली सामग्री उपलब्ध नहीं करा सकते हैं.
आपको कब फिर से अपलोड करना चाहिए या समीक्षा के लिए फिर से अनुरोध करना चाहिए?
क्रॉलर एक्सेस ठीक करने के बाद, यदि स्थिति अपने आप अपडेट नहीं होती है, तो प्रभावित विज्ञापनों को फिर से अपलोड या पुनः सबमिट करें. बल्क-अपलोड किए गए विज्ञापनों के लिए, छोटे बैच रेट लिमिट या बॉट-प्रोटेक्शन ट्रिगर होने की घटनाओं को कम कर सकते हैं, जबकि आपकी टीम फ़िक्स को वैलिडेट करती है.