OpenAI वेब क्रॉलर का वापरते?
ChatGPT वर जाहिरात म्हणून सबमिट केलेल्या वेब पेजच्या सुरक्षिततेची पडताळणी करण्यासाठी आम्ही क्रॉलर वापरतो. तुम्ही जाहिरात सबमिट करता तेव्हा, ती आमच्या धोरणांचे पालन करते याची खात्री करण्यासाठी OpenAI लँडिंग पेजला भेट देऊ शकते. जाहिरात वापरकर्त्यांना केव्हा दाखवणे सर्वाधिक संबंधित ठरेल हे ठरवण्यासाठी आम्ही लँडिंग पेजवरील सामग्रीही वापरू शकतो.
तुम्ही कोणत्या OpenAI क्रॉलरना परवानगी द्यावी?
तुम्ही OAI-AdsBot ला परवानगी देणे आवश्यक आहे. OAI-AdsBot आणि OAI-SearchBot या दोघांनाही परवानगी देण्याची आम्ही शिफारस करतो.
OpenAI क्रॉलर माझी वेबसाइट क्रॉल करण्यात अयशस्वी ठरतात. मी काय करावे?
बहुतेक वेबसाइटवर क्रॉलरला वेबपेज यशस्वीरीत्या अॅक्सेस करता येण्यापूर्वी संरक्षणाचे अनेक स्तर असतात. OpenAI क्रॉलर पुढील प्रत्येक स्तरातून जाऊ शकतात याची पडताळणी करण्यासाठी तुमच्या अभियांत्रिकी किंवा सुरक्षा टीमसोबत काम करा.
1. robots.txt
robots.txt फाइल क्रॉलरना तुमच्या वेबसाइटच्या काही भागांमध्ये प्रवेश करण्याची परवानगी आहे की नाही हे सांगते. OpenAI क्रॉलर हे नियम पाळतात. robots.txt मध्ये प्रवेश नाकारलेला असल्यास, क्रॉलिंग लगेच थांबेल.
तुमचे robots.txt कॉन्फिगरेशन तपासा आणि संबंधित पेज व पाथमध्ये प्रवेश करण्यासाठी OpenAI क्रॉलरना स्पष्टपणे परवानगी दिली आहे याची खात्री करा. उदाहरणार्थ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. वेब संरक्षण आणि बॉट प्रतिबंध
DDoS हल्ले, स्क्रॅपिंग आणि अनधिकृत ट्रॅफिकपासून बचाव करण्यासाठी अनेक वेबसाइट Cloudflare, Akamai किंवा इतर वेब संरक्षण प्रदात्यांसारख्या सेवा वापरतात. या प्रणाली चुकून वैध क्रॉलर ब्लॉक करू शकतात आणि अनेकदा 403 Forbidden त्रुटी परत करतात. OpenAI क्रॉलर स्वयंचलित ट्रॅफिक पॅटर्नसारखे दिसू शकतात, त्यामुळे त्यांना विशेषतः अनुमतीसूचीत समाविष्ट केले नसल्यास प्रवेश नाकारला जाऊ शकतो.
तुमचे वेब संरक्षण किंवा फायरवॉल कॉन्फिगरेशन तपासा आणि शक्य असल्यास OpenAI क्रॉलर ट्रॅफिक अनुमतीसूचीत समाविष्ट करा; आदर्शतः आमच्या क्रॉलर user agents वर आधारित. तुमच्या अभियांत्रिकी किंवा इन्फ्रास्ट्रक्चर टीमने खोटे पॉझिटिव्ह ट्रिगर करू शकणारे कोणतेही स्वयंचलित बॉट प्रतिबंध नियमही तपासावेत.
3. मानवी पडताळणी आणि अँटी-बॉट लॉजिक
काही वेबसाइट भेट देणारी व्यक्ती मानव आहे हे पडताळण्यासाठी CAPTCHAs, JavaScript आव्हाने, वर्तन विश्लेषण किंवा सेशन पडताळणी यांसारख्या अतिरिक्त अॅप्लिकेशन-स्तरीय तपासण्या लागू करतात. OpenAI क्रॉलर या स्वयंचलित प्रणाली असल्यामुळे, क्रॉलर आधीचे स्तर यशस्वीरीत्या पार करत असला तरी या तपासण्या प्रवेश ब्लॉक करू शकतात.
तुमच्या अॅप्लिकेशनमध्ये लागू केलेले कोणतेही मानवी-पडताळणी किंवा अँटी-ऑटोमेशन लॉजिक तपासा आणि योग्य ठिकाणी OpenAI क्रॉलरना सूट दिली आहे याची खात्री करा; आदर्शतः आमचे क्रॉलर user agents अनुमतीसूचीत समाविष्ट करून.
स्थिर IP श्रेणींबद्दल टीप
ट्रॅफिक विश्वसनीयरीत्या अनुमतीसूचीत समाविष्ट करण्यापूर्वी, काही सुरक्षा प्रणालींना क्रॉलर ट्रॅफिक स्थिर आणि सार्वजनिकरीत्या दस्तऐवजीकृत IP श्रेणींमधून येणे आवश्यक असते. क्रॉलर इन्फ्रास्ट्रक्चर काळानुसार बदलू शकत असल्यामुळे, तुमच्या अभियांत्रिकी टीमने लॉगमधील अल्पकालीन IP निरीक्षणांवरच अवलंबून राहणे टाळावे. त्याऐवजी, user-agent ओळख, समर्थित असल्यास पडताळलेले बॉट प्रोग्राम, फायरवॉल अनुमतीसूच्या, robots.txt वर्तन आणि प्रदाता-स्तरीय बॉट पडताळणी प्रणाली यांच्या संयोजनातून ट्रॅफिकची पडताळणी करा.
तुम्हाला IP श्रेणींची स्थिर यादी अनुमतीसूचीत समाविष्ट करावीच लागल्यास, https://openai.com/searchbot.json आणि https://openai.com/adsbot.json पहा.
रेट मर्यादेबद्दल टीप
मोठी बॅच अपलोड किंवा क्रॉलर ट्रॅफिकमधील अचानक वाढ कधीकधी स्वयंचलित रेट मर्यादा किंवा बॉट संरक्षण प्रणाली ट्रिगर करू शकते.
रेट मर्यादा लागू होत असल्याचा संशय असल्यास, तुमच्या अभियांत्रिकी टीमला HTTP प्रतिसाद कोड, विशेषतः 429 Too Many Requests, फायरवॉल किंवा CDN लॉग, बॉट प्रतिबंध घटना, विनंती थ्रॉटलिंग नियम आणि क्रॉलरने प्रवेश करण्याचा प्रयत्न केला त्या वेळेभोवतीचे ट्रॅफिक विश्लेषण तपासायला सांगा. यामुळे इन्फ्रास्ट्रक्चर संरक्षणांद्वारे विनंत्या जाणूनबुजून धीम्या केल्या जात आहेत की ब्लॉक केल्या जात आहेत हे ओळखण्यास मदत होऊ शकते.
तुम्ही अधिक दीर्घ कालावधीत लहान बॅचमध्ये जाहिराती अपलोड करण्याचाही विचार करू शकता.
Cloudflare बद्दल टीप
OAI-AdsBot अधिकृतरीत्या Cloudflare द्वारे पडताळलेला आणि अनुमतीसूचीत समाविष्ट केलेला आहे.
क्रॉलर आणि लँडिंग पेज FAQ
जाहिरात पुनरावलोकनासाठी कोणता क्रॉलर आवश्यक आहे?
ChatGPT जाहिरातींच्या लँडिंग पेज पडताळणी आणि पुनरावलोकनासाठी OAI-AdsBot आवश्यक आहे. OAI-SearchBot ची शिफारस केली जाते कारण तो OpenAI ला सार्वजनिक वेब सामग्री समजून घेण्यास मदत करू शकतो, पण जाहिरातदारांनी जाहिरातींच्या तयारीसाठी OAI-AdsBot या क्रॉलरला प्राधान्य द्यावे.
सपोर्ट क्रॉलर पडताळणी मॅन्युअली बायपास करू शकतो का?
मॅन्युअल बायपासवर अवलंबून राहू नका. robots.txt, WAF, CDN, बॉट प्रतिबंध, प्रमाणीकरण आणि रेट मर्यादा ब्लॉक्स दुरुस्त करून लँडिंग पेज OAI-AdsBot साठी क्रॉल करण्यायोग्य बनवा. लँडिंग पेज प्रवेशयोग्य झाल्यानंतर जाहिराती पुन्हा अपलोड कराव्या किंवा पुनरावलोकनासाठी पुन्हा सबमिट कराव्या लागू शकतात.
माझ्या अभियांत्रिकी टीमने प्रथम काय तपासावे?
लँडिंग पेज OAI-AdsBot ला यशस्वी HTTP प्रतिसाद परत करते का, robots.txt संबंधित पाथला परवानगी देते का, आणि WAF, CDN, बॉट प्रतिबंध, JavaScript आव्हाने, CAPTCHAs, प्रमाणीकरण किंवा भू-नियम स्वयंचलित प्रवेश ब्लॉक करतात का हे तपासा.
लँडिंग पेज म्हणून अॅप-स्टोअर लिंक्स, डीप लिंक्स किंवा वेब नसलेली गंतव्ये समर्थित आहेत का?
शक्य असेल तेव्हा थेट पोहोचता येणारे वेब लँडिंग पेज वापरा. अॅप-स्टोअर लिंक्स, डीप लिंक्स, दस्तऐवज किंवा अॅप, लॉगिन, प्रदेश-विशिष्ट प्रवेश किंवा असमर्थित रीडायरेक्ट आवश्यक असलेली गंतव्ये पडताळणी किंवा पुनरावलोकनासाठी पुरेशी क्रॉल करण्यायोग्य सामग्री देऊ शकत नाहीत.
मी पुन्हा कधी अपलोड करावे किंवा पुनरावलोकनाची पुन्हा विनंती करावी?
क्रॉलर प्रवेश दुरुस्त केल्यानंतर स्थिती आपोआप अपडेट होत नसेल, तर प्रभावित जाहिराती पुन्हा अपलोड करा किंवा पुन्हा सबमिट करा. मोठ्या प्रमाणात अपलोड केलेल्या जाहिरातींसाठी, तुमची टीम दुरुस्तीची पडताळणी करत असताना लहान बॅच वापरल्याने रेट मर्यादा किंवा बॉट संरक्षण ट्रिगर कमी होऊ शकतात.