OpenAI ஏன் வலை கிராலர்களைப் பயன்படுத்துகிறது?
ChatGPT-இல் விளம்பரங்களாகச் சமர்ப்பிக்கப்படும் இணையப் பக்கங்களின் பாதுகாப்பைச் சரிபார்க்க, நாங்கள் கிராலர்களைப் பயன்படுத்துகிறோம். நீங்கள் ஒரு விளம்பரத்தைச் சமர்ப்பிக்கும்போது, அதன் இறங்கும் பக்கம் எங்கள் கொள்கைகளுக்கு இணங்குகிறதா என்பதை உறுதிப்படுத்த OpenAI அதைப் பார்வையிடலாம். பயனர்களுக்கு அந்த விளம்பரத்தைக் காட்டுவதற்கு மிகவும் பொருத்தமான நேரத்தைத் தீர்மானிக்க, இறங்கும் பக்கத்திலுள்ள உள்ளடக்கத்தையும் நாங்கள் பயன்படுத்தலாம்.
எந்த OpenAI கிராலர்களை நீங்கள் அனுமதிக்க வேண்டும்?
நீங்கள் OAI-AdsBot-ஐ கட்டாயம் அனுமதிக்க வேண்டும். OAI-AdsBot மற்றும் OAI-SearchBot இரண்டையும் அனுமதிக்குமாறு பரிந்துரைக்கிறோம்.
தயாரிப்புத் தரவூட்டங்களுக்கு, தயாரிப்புப் படங்களின் URL-களை கிரால் செய்ய OAI-SearchBot-ஐயும் அனுமதிக்கவும். படங்களை வழங்கும் சேவையகத்தின் தீச்சுவர், CDN மற்றும் பாட்-பாதுகாப்பு விதிகளைச் சரிபார்க்கவும். 403 பதில், தரவூட்டச் செயலாக்கத்தைத் தடுக்கலாம்.
OpenAI கிராலர்களால் எனது இணையதளத்தை கிரால் செய்ய முடியவில்லை. நான் என்ன செய்ய வேண்டும்?
ஒரு கிராலர் இணையப் பக்கத்தை வெற்றிகரமாக அணுகுவதற்கு முன், பெரும்பாலான இணையதளங்களில் பல அடுக்குப் பாதுகாப்புகள் இருக்கும். பின்வரும் ஒவ்வொரு அடுக்கையும் OpenAI கிராலர்கள் கடந்து செல்ல முடியுமா என்பதை உங்கள் பொறியியல் அல்லது பாதுகாப்புக் குழுவுடன் இணைந்து சரிபார்க்கவும்.
1. robots.txt
உங்கள் இணையதளத்தின் குறிப்பிட்ட பகுதிகளை அணுக கிராலர்களுக்கு அனுமதி உள்ளதா என்பதை robots.txt கோப்பு தெரிவிக்கிறது. OpenAI கிராலர்கள் இந்த விதிகளைப் பின்பற்றுகின்றன. robots.txt-இல் அணுகல் மறுக்கப்பட்டிருந்தால், கிரால் செய்வது உடனடியாக நிறுத்தப்படும்.
உங்கள் robots.txt உள்ளமைவை ஆய்வுசெய்து, தொடர்புடைய பக்கங்களையும் பாதைகளையும் அணுக OpenAI கிராலர்களுக்கு வெளிப்படையாக அனுமதி வழங்கப்பட்டுள்ளதா என்பதை உறுதிப்படுத்தவும். எடுத்துக்காட்டு: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. இணையப் பாதுகாப்பும் பாட் தடுப்பும்
DDoS தாக்குதல்கள், தரவு உரித்தெடுப்பு மற்றும் அங்கீகரிக்கப்படாத போக்குவரத்திலிருந்து தற்காத்துக்கொள்ள பல இணையதளங்கள் Cloudflare, Akamai அல்லது பிற இணையப் பாதுகாப்பு வழங்குநர்களைப் பயன்படுத்துகின்றன. இந்த அமைப்புகள் முறையான கிராலர்களைத் தவறுதலாகத் தடுத்து, பெரும்பாலும் 403 Forbidden பிழைகளை வழங்கக்கூடும். OpenAI கிராலர்களின் செயல்பாடு தானியக்கப் போக்குவரத்தை ஒத்திருப்பதால், அவை அனுமதிப் பட்டியலில் வெளிப்படையாகச் சேர்க்கப்படாவிட்டால் அணுகல் மறுக்கப்படலாம்.
உங்கள் இணையப் பாதுகாப்பு அல்லது தீச்சுவர் உள்ளமைவை ஆய்வுசெய்து, முடிந்தவரை எங்கள் கிராலர் பயனர் ஏஜென்ட்களின் அடிப்படையில் OpenAI கிராலர் போக்குவரத்தை அனுமதிப் பட்டியலில் சேர்க்கவும். தவறான எச்சரிக்கைகளைத் தூண்டக்கூடிய தானியங்கி பாட் தடுப்பு விதிகளையும் உங்கள் பொறியியல் அல்லது உள்கட்டமைப்புக் குழு ஆய்வுசெய்ய வேண்டும்.
3. மனிதர் சரிபார்ப்பும் பாட் எதிர்ப்புச் செயல்முறையும்
வருகையாளர் மனிதரா என்பதைச் சரிபார்க்க, CAPTCHA-கள், JavaScript சவால்கள், நடத்தைப் பகுப்பாய்வு அல்லது அமர்வுச் சரிபார்ப்பு போன்ற கூடுதல் பயன்பாட்டு-நிலைச் சோதனைகளைச் சில இணையதளங்கள் செயல்படுத்துகின்றன. OpenAI கிராலர்கள் தானியங்கி அமைப்புகள் என்பதால், முந்தைய அடுக்குகளை வெற்றிகரமாகக் கடந்தாலும் இந்தச் சோதனைகள் அவற்றின் அணுகலைத் தடுக்கலாம்.
உங்கள் பயன்பாட்டில் செயல்படுத்தப்பட்டுள்ள மனிதர் சரிபார்ப்பு அல்லது தானியக்கத் தடுப்புச் செயல்முறைகளை ஆய்வுசெய்து, பொருத்தமான இடங்களில் OpenAI கிராலர்களுக்கு விலக்கு அளிக்கவும். எங்கள் கிராலர் பயனர் ஏஜென்ட்களை அனுமதிப் பட்டியலில் சேர்ப்பது சிறந்தது.
நிலையான IP வரம்புகள் குறித்த குறிப்பு
கிராலர் போக்குவரத்தை நம்பகமாக அனுமதிப் பட்டியலில் சேர்க்க, அது பொதுவில் ஆவணப்படுத்தப்பட்ட நிலையான IP வரம்புகளிலிருந்து வர வேண்டும் எனச் சில பாதுகாப்பு அமைப்புகள் கோருகின்றன. கிராலர் உள்கட்டமைப்பு காலப்போக்கில் மாறக்கூடும் என்பதால், பதிவுகளில் காணப்படும் குறுகிய கால IP தகவல்களை மட்டுமே உங்கள் பொறியியல் குழு சார்ந்திருக்கக் கூடாது. அதற்குப் பதிலாக, பயனர் ஏஜென்ட் அடையாளம், ஆதரிக்கப்படும் இடங்களில் சரிபார்க்கப்பட்ட பாட் திட்டங்கள், தீச்சுவர் அனுமதிப் பட்டியல்கள், robots.txt நடத்தை மற்றும் வழங்குநர்-நிலை பாட் சரிபார்ப்பு அமைப்புகள் ஆகியவற்றை இணைத்துப் போக்குவரத்தைச் சரிபார்க்கவும்.
நிலையான IP வரம்புகளின் பட்டியலை நீங்கள் கட்டாயம் அனுமதிக்க வேண்டுமெனில், https://openai.com/searchbot.json மற்றும் https://openai.com/adsbot.json ஆகியவற்றைப் பார்க்கவும்.
வீத வரம்பு குறித்த குறிப்பு
பெரிய தொகுதி பதிவேற்றங்கள் அல்லது கிராலர் போக்குவரத்தில் ஏற்படும் திடீர் அதிகரிப்புகள், சில நேரங்களில் தானியங்கி வீத வரம்பு அல்லது பாட்-பாதுகாப்பு அமைப்புகளைத் தூண்டலாம்.
வீத வரம்பு விதிக்கப்படுவதாக நீங்கள் சந்தேகித்தால், கிராலர் அணுக முயன்ற நேரத்திலுள்ள HTTP பதில் குறியீடுகள், குறிப்பாக 429 Too Many Requests, தீச்சுவர் அல்லது CDN பதிவுகள், பாட் தடுப்பு நிகழ்வுகள், கோரிக்கை வேகக் கட்டுப்பாட்டு விதிகள் மற்றும் போக்குவரத்துப் பகுப்பாய்வை ஆய்வுசெய்யுமாறு உங்கள் பொறியியல் குழுவிடம் கேட்கவும். உள்கட்டமைப்புப் பாதுகாப்புகள் கோரிக்கைகளை வேண்டுமென்றே மெதுவாக்குகின்றனவா அல்லது தடுக்கின்றனவா என்பதைக் கண்டறிய இது உதவும்.
விளம்பரங்களைச் சிறிய தொகுதிகளாக, நீண்ட கால இடைவெளியில் பதிவேற்றுவதையும் நீங்கள் பரிசீலிக்கலாம்.
Cloudflare குறித்த குறிப்பு
OAI-AdsBot அதிகாரப்பூர்வமாகச் சரிபார்க்கப்பட்டு Cloudflare-இன் அனுமதிப் பட்டியலில் சேர்க்கப்பட்டுள்ளது.
கிராலர் மற்றும் இறங்கும் பக்கம் குறித்த அடிக்கடி கேட்கப்படும் கேள்விகள்
விளம்பர மதிப்பாய்வுக்கு எந்த கிராலர் தேவை?
ChatGPT விளம்பரங்களின் இறங்கும் பக்கச் சரிபார்ப்புக்கும் மதிப்பாய்வுக்கும் OAI-AdsBot தேவை. பொதுவில் கிடைக்கும் இணைய உள்ளடக்கத்தை OpenAI புரிந்துகொள்ள OAI-SearchBot உதவக்கூடும் என்பதால் அது பரிந்துரைக்கப்படுகிறது. ஆனால் விளம்பரத் தயார்நிலைக்கு விளம்பரதாரர்கள் OAI-AdsBot-க்கே முன்னுரிமை அளிக்க வேண்டும்.
ஆதரவுக் குழுவால் கிராலர் சரிபார்ப்பை கைமுறையாகத் தவிர்க்க முடியுமா?
கைமுறையாகத் தவிர்க்கும் வழியைச் சார்ந்திருக்க வேண்டாம். robots.txt, WAF, CDN, பாட் தடுப்பு, அங்கீகாரம் மற்றும் வீத வரம்புத் தடைகளைச் சரிசெய்து, OAI-AdsBot இறங்கும் பக்கத்தைக் கிரால் செய்யக்கூடியதாக மாற்றவும். இறங்கும் பக்கத்தை அணுக முடிந்த பிறகு, விளம்பரங்களை மீண்டும் பதிவேற்றவோ மதிப்பாய்வுக்காக மீண்டும் சமர்ப்பிக்கவோ வேண்டியிருக்கலாம்.
எனது பொறியியல் குழு முதலில் எதைச் சரிபார்க்க வேண்டும்?
OAI-AdsBot-க்கு இறங்கும் பக்கம் வெற்றிகரமான HTTP பதிலை வழங்குகிறதா, தொடர்புடைய பாதையை robots.txt அனுமதிக்கிறதா, மேலும் WAF, CDN, பாட் தடுப்பு, JavaScript சவால்கள், CAPTCHA-கள், அங்கீகாரம் அல்லது புவியியல் விதிகள் தானியங்கி அணுகலைத் தடுக்கின்றனவா என்பதைச் சரிபார்க்கவும்.
பயன்பாட்டு அங்காடி இணைப்புகள், ஆழ் இணைப்புகள் அல்லது இணையம் சாராத இலக்குகளை இறங்கும் பக்கங்களாகப் பயன்படுத்த முடியுமா?
முடிந்தவரை நேரடியாக அணுகக்கூடிய இணைய இறங்கும் பக்கத்தைப் பயன்படுத்தவும். பயன்பாட்டு அங்காடி இணைப்புகள், ஆழ் இணைப்புகள், ஆவணங்கள் அல்லது ஒரு பயன்பாடு, உள்நுழைவு, குறிப்பிட்ட பிராந்திய அணுகல் அல்லது ஆதரிக்கப்படாத வழிமாற்றுகள் தேவைப்படும் இலக்குகளில், சரிபார்ப்பு அல்லது மதிப்பாய்வுக்குப் போதுமான அளவு கிரால் செய்யக்கூடிய உள்ளடக்கம் இல்லாமல் இருக்கலாம்.
எப்போது மீண்டும் பதிவேற்ற வேண்டும் அல்லது மீண்டும் மதிப்பாய்வு கோர வேண்டும்?
கிராலர் அணுகலைச் சரிசெய்த பிறகும் நிலை தானாகப் புதுப்பிக்கப்படாவிட்டால், பாதிக்கப்பட்ட விளம்பரங்களை மீண்டும் பதிவேற்றவும் அல்லது மீண்டும் சமர்ப்பிக்கவும். தொகுப்பாகப் பதிவேற்றப்பட்ட விளம்பரங்களுக்கு, உங்கள் குழு திருத்தத்தைச் சரிபார்க்கும் வேளையில் சிறிய தொகுதிகளைப் பயன்படுத்துவது வீத வரம்பு அல்லது பாட்-பாதுகாப்புத் தூண்டுதல்களைக் குறைக்கலாம்.