OpenAI वेब क्रॉलर का वापरते?
ChatGPT वर जाहिराती म्हणून सादर केलेल्या वेबपृष्ठांची सुरक्षितता तपासण्यासाठी आम्ही क्रॉलर वापरतो. तुम्ही जाहिरात सादर केल्यावर ती आमच्या धोरणांचे पालन करते याची खात्री करण्यासाठी OpenAI तिच्या लँडिंग पेजला भेट देऊ शकते. वापरकर्त्यांना जाहिरात दाखवण्याची सर्वाधिक योग्य वेळ ठरवण्यासाठी आम्ही लँडिंग पेजवरील मजकूरही वापरू शकतो.
तुम्ही कोणत्या OpenAI क्रॉलरना परवानगी द्यावी?
तुम्ही OAI-AdsBot ला परवानगी देणे आवश्यक आहे. आम्ही OAI-AdsBot आणि OAI-SearchBot या दोन्हींना परवानगी देण्याची शिफारस करतो.
उत्पादन फीडसाठी, उत्पादनाच्या प्रतिमांचे URL क्रॉल करण्याची परवानगी OAI-SearchBot लाही द्या. प्रतिमा होस्टवरील फायरवॉल, CDN आणि बॉट-संरक्षण नियम तपासा. 403 प्रतिसादामुळे फीडवर प्रक्रिया करणे थांबू शकते.
OpenAI क्रॉलर माझी वेबसाइट क्रॉल करू शकत नाहीत. मी काय करावे?
क्रॉलरला एखादे वेबपृष्ठ यशस्वीपणे वापरता येण्यापूर्वी बहुतांश वेबसाइटवर संरक्षणाचे अनेक स्तर असतात. OpenAI क्रॉलर पुढील प्रत्येक स्तर पार करू शकतात याची खात्री करण्यासाठी तुमच्या अभियांत्रिकी किंवा सुरक्षा पथकासोबत काम करा.
1. robots.txt
robots.txt फाइल क्रॉलरना तुमच्या वेबसाइटचे काही भाग वापरण्याची परवानगी आहे की नाही हे सांगते. OpenAI क्रॉलर या नियमांचे पालन करतात. robots.txt मध्ये प्रवेश नाकारला असल्यास, क्रॉलिंग त्वरित थांबेल.
तुमचे robots.txt संरूपण तपासा आणि संबंधित पृष्ठे व पथ वापरण्याची OpenAI क्रॉलरना स्पष्टपणे परवानगी असल्याची खात्री करा. उदाहरणार्थ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. वेब संरक्षण आणि बॉट प्रतिबंध
अनेक वेबसाइट DDoS हल्ले, माहिती संकलन आणि अनधिकृत रहदारीपासून संरक्षण करण्यासाठी Cloudflare, Akamai किंवा इतर वेब-संरक्षण प्रदात्यांच्या सेवा वापरतात. या प्रणाली वैध क्रॉलरना चुकून अवरोधित करू शकतात आणि अनेकदा 403 Forbidden त्रुटी देतात. OpenAI क्रॉलरची रहदारी स्वयंचलित रहदारीसारखी दिसू शकते. त्यामुळे त्यांना अनुमतिसूचीत स्पष्टपणे समाविष्ट न केल्यास प्रवेश नाकारला जाऊ शकतो.
तुमचे वेब-संरक्षण किंवा फायरवॉल संरूपण तपासा आणि शक्य असल्यास, प्राधान्याने आमच्या क्रॉलर वापरकर्ता-एजंटच्या आधारे OpenAI क्रॉलर रहदारी अनुमतिसूचीत समाविष्ट करा. तुमच्या अभियांत्रिकी किंवा पायाभूत सुविधा पथकाने चुकीचे सकारात्मक निष्कर्ष देऊ शकणारे स्वयंचलित बॉट-प्रतिबंध नियमही तपासावेत.
3. मानवी पडताळणी आणि बॉट-विरोधी तर्कप्रणाली
काही वेबसाइट अभ्यागत मनुष्य असल्याची खात्री करण्यासाठी अनुप्रयोग स्तरावर अतिरिक्त तपासण्या करतात. उदाहरणार्थ, CAPTCHA, JavaScript आव्हाने, वर्तन विश्लेषण किंवा सत्र पडताळणी. OpenAI क्रॉलर स्वयंचलित प्रणाली असल्यामुळे, त्यांनी आधीचे स्तर यशस्वीपणे पार केले तरी या तपासण्या प्रवेश अवरोधित करू शकतात.
तुमच्या अनुप्रयोगातील मानवी पडताळणी किंवा स्वयंचलन-विरोधी तर्कप्रणाली तपासा. योग्य ठिकाणी OpenAI क्रॉलरना वगळल्याची खात्री करा, प्राधान्याने आमचे क्रॉलर वापरकर्ता-एजंट अनुमतिसूचीत समाविष्ट करून.
स्थिर IP श्रेणींबद्दल सूचना
काही सुरक्षा प्रणालींमध्ये क्रॉलर रहदारी विश्वसनीयपणे अनुमतिसूचीत समाविष्ट करण्यापूर्वी ती सार्वजनिकरीत्या दस्तऐवजीकरण केलेल्या स्थिर IP श्रेणींमधून येणे आवश्यक असते. क्रॉलरची पायाभूत रचना कालांतराने बदलू शकते. त्यामुळे तुमच्या अभियांत्रिकी पथकाने नोंदींमधील अल्पकालीन IP निरीक्षणांवरच अवलंबून राहू नये. त्याऐवजी, वापरकर्ता-एजंट ओळख, समर्थित ठिकाणी पडताळलेले बॉट कार्यक्रम, फायरवॉल अनुमतिसूची, robots.txt चे वर्तन आणि प्रदाता-स्तरीय बॉट पडताळणी प्रणाली यांच्या संयोजनातून रहदारीची पडताळणी करा.
स्थिर IP श्रेणींच्या सूचीला परवानगी देणे आवश्यक असल्यास, https://openai.com/searchbot.json आणि https://openai.com/adsbot.json यांचा संदर्भ घ्या.
विनंती-दर मर्यादेबद्दल सूचना
मोठ्या प्रमाणातील एकत्रित अपलोड किंवा क्रॉलर रहदारीतील अचानक वाढ कधीकधी स्वयंचलित विनंती-दर मर्यादा किंवा बॉट-संरक्षण प्रणाली सक्रिय करू शकते.
विनंती-दर मर्यादा लागू होत असल्याचा संशय असल्यास, क्रॉलरने प्रवेश करण्याचा प्रयत्न केला त्या वेळेच्या आसपासचे HTTP प्रतिसाद संकेतांक, विशेषतः 429 Too Many Requests, फायरवॉल किंवा CDN नोंदी, बॉट-प्रतिबंध घटना, विनंती-दर नियंत्रित करणारे नियम आणि रहदारी विश्लेषण तपासण्यास तुमच्या अभियांत्रिकी पथकाला सांगा. यामुळे पायाभूत संरक्षण यंत्रणा विनंत्या जाणीवपूर्वक संथ करत आहे की अवरोधित करत आहे हे ओळखता येते.
तुम्ही दीर्घ कालावधीत जाहिरातींचे लहान संच अपलोड करण्याचाही विचार करू शकता.
Cloudflare बद्दल सूचना
Cloudflare ने OAI-AdsBot ची अधिकृतपणे पडताळणी करून त्याला अनुमतिसूचीत समाविष्ट केले आहे.
क्रॉलर आणि लँडिंग पेजविषयी नेहमी विचारले जाणारे प्रश्न
जाहिरातीच्या पुनरावलोकनासाठी कोणता क्रॉलर आवश्यक आहे?
ChatGPT Ads च्या लँडिंग पेजची पडताळणी आणि पुनरावलोकन करण्यासाठी OAI-AdsBot आवश्यक आहे. सार्वजनिक वेबवरील मजकूर समजून घेण्यासाठी OpenAI ला OAI-SearchBot उपयुक्त ठरू शकत असल्याने त्याची शिफारस केली जाते. मात्र, जाहिराती तयार करताना जाहिरातदारांनी OAI-AdsBot ला प्राधान्य द्यावे.
सहाय्य पथक क्रॉलर पडताळणी स्वतःहून वगळू शकते का?
स्वतःहून केलेल्या अपवादावर अवलंबून राहू नका. robots.txt, WAF, CDN, बॉट प्रतिबंध, प्रमाणीकरण आणि विनंती-दर मर्यादेमुळे येणारे अडथळे दूर करून OAI-AdsBot ला लँडिंग पेज क्रॉल करता येईल असे करा. लँडिंग पेज उपलब्ध झाल्यानंतर जाहिराती पुन्हा अपलोड कराव्या लागू शकतात किंवा पुनरावलोकनासाठी पुन्हा सादर कराव्या लागू शकतात.
माझ्या अभियांत्रिकी पथकाने प्रथम काय तपासावे?
लँडिंग पेज OAI-AdsBot ला यशस्वी HTTP प्रतिसाद देते का, robots.txt संबंधित पथाला परवानगी देते का आणि WAF, CDN, बॉट प्रतिबंध, JavaScript आव्हाने, CAPTCHA, प्रमाणीकरण किंवा भौगोलिक नियम स्वयंचलित प्रवेश अवरोधित करतात का, हे तपासा.
ॲप-भांडार दुवे, डीप लिंक किंवा वेबेतर ठिकाणे लँडिंग पेज म्हणून समर्थित आहेत का?
शक्य असेल तेव्हा थेट उपलब्ध असलेले वेब लँडिंग पेज वापरा. ॲप-भांडार दुवे, डीप लिंक, दस्तऐवज किंवा ॲप, प्रवेश खाते, प्रदेशनिहाय प्रवेश अथवा असमर्थित पुनर्निर्देशन आवश्यक असलेली ठिकाणे पडताळणी किंवा पुनरावलोकनासाठी पुरेसा क्रॉल करता येणारा मजकूर देऊ शकणार नाहीत.
मी पुन्हा अपलोड किंवा पुनरावलोकनाची विनंती कधी करावी?
क्रॉलरचा प्रवेश दुरुस्त केल्यानंतर स्थिती आपोआप अद्ययावत न झाल्यास, प्रभावित जाहिराती पुन्हा अपलोड करा किंवा पुनरावलोकनासाठी पुन्हा सादर करा. मोठ्या प्रमाणात अपलोड केलेल्या जाहिरातींसाठी, तुमचे पथक दुरुस्तीची पडताळणी करत असताना लहान संचांमुळे विनंती-दर मर्यादा किंवा बॉट-संरक्षण सक्रिय होण्याचे प्रमाण कमी होऊ शकते.