OpenAI ஏன் வலை கிராலர்களைப் பயன்படுத்துகிறது?
ChatGPT-இல் விளம்பரங்களாகச் சமர்ப்பிக்கப்படும் வலைப் பக்கங்களின் பாதுகாப்பைச் சரிபார்க்க நாங்கள் கிராலர்களைப் பயன்படுத்துகிறோம். நீங்கள் ஒரு விளம்பரத்தைச் சமர்ப்பிக்கும்போது, அது எங்கள் கொள்கைகளுக்கு இணங்குகிறதா என்பதை உறுதிப்படுத்த OpenAI அந்த லாண்டிங் பக்கத்தைப் பார்வையிடலாம். பயனர்களுக்கு விளம்பரத்தைக் காட்டுவது எப்போது மிகவும் பொருத்தமானது என்பதைத் தீர்மானிக்க, லாண்டிங் பக்கத்தில் உள்ள உள்ளடக்கத்தையும் நாங்கள் பயன்படுத்தலாம்.
எந்த OpenAI கிராலர்களை நீங்கள் அனுமதிக்க வேண்டும்?
நீங்கள் OAI-AdsBot-ஐ அனுமதிக்க வேண்டும். OAI-AdsBot மற்றும் OAI-SearchBot இரண்டையும் அனுமதிக்கப் பரிந்துரைக்கிறோம்.
OpenAI கிராலர்களால் என் இணையதளத்தை கிரால் செய்ய முடியவில்லை. நான் என்ன செய்ய வேண்டும்?
ஒரு கிராலர் ஒரு வலைப் பக்கத்தை வெற்றிகரமாக அணுகுவதற்கு முன், பெரும்பாலான இணையதளங்களில் பல அடுக்கு பாதுகாப்புகள் இருக்கும். பின்வரும் ஒவ்வொரு அடுக்கையும் OpenAI கிராலர்கள் கடந்து செல்ல முடிகிறதா என்பதைச் சரிபார்க்க, உங்கள் பொறியியல் அல்லது பாதுகாப்புக் குழுவுடன் இணைந்து பணியாற்றுங்கள்.
1. robots.txt
உங்கள் இணையதளத்தின் சில பகுதிகளை அணுக கிராலர்களுக்கு அனுமதி உள்ளதா என்பதை robots.txt கோப்பு தெரிவிக்கிறது. OpenAI கிராலர்கள் இந்த விதிகளை மதிக்கின்றன. robots.txt-இல் அணுகல் அனுமதிக்கப்படவில்லை என்றால், கிராலிங் உடனடியாக நிறுத்தப்படும்.
உங்கள் robots.txt உள்ளமைவை மதிப்பாய்வு செய்து, தொடர்புடைய பக்கங்களையும் பாதைகளையும் அணுக OpenAI கிராலர்களுக்கு வெளிப்படையாக அனுமதி வழங்கப்பட்டுள்ளதை உறுதிப்படுத்துங்கள். எடுத்துக்காட்டு: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. வலைப் பாதுகாப்பு மற்றும் bot தணிப்பு
பல இணையதளங்கள் DDoS தாக்குதல்கள், scraping மற்றும் அனுமதியற்ற ட்ராஃபிக்கிலிருந்து பாதுகாக்க Cloudflare, Akamai அல்லது பிற வலைப் பாதுகாப்பு வழங்குநர்கள் போன்ற சேவைகளைப் பயன்படுத்துகின்றன. இந்த அமைப்புகள் சட்டபூர்வமான கிராலர்களையும் தவறாகத் தடுக்கலாம்; பெரும்பாலும் 403 Forbidden பிழைகள் திரும்பும். OpenAI கிராலர்கள் தானியக்க ட்ராஃபிக் வடிவங்களைப் போலத் தோன்றலாம் என்பதால், குறிப்பாக அனுமதிப்பட்டியலில் சேர்க்கப்படாவிட்டால் அவற்றுக்கான அணுகல் மறுக்கப்படலாம்.
உங்கள் வலைப் பாதுகாப்பு அல்லது firewall உள்ளமைவை மதிப்பாய்வு செய்து, சாத்தியமான இடங்களில் OpenAI கிராலர் ட்ராஃபிக்கை அனுமதிப்பட்டியலில் சேர்க்கவும்; சிறந்த முறையில், எங்கள் கிராலர் user agents அடிப்படையில் இதைச் செய்யுங்கள். தவறான நேர்மறை முடிவுகளைத் தூண்டக்கூடிய தானியக்க bot தணிப்பு விதிகள் ஏதேனும் உள்ளனவா என்பதையும் உங்கள் பொறியியல் அல்லது உட்கட்டமைப்பு குழு ஆய்வு செய்ய வேண்டும்.
3. மனிதச் சரிபார்ப்பு மற்றும் anti-bot தர்க்கம்
CAPTCHA-கள், JavaScript சவால்கள், நடத்தைப் பகுப்பாய்வு அல்லது session சரிபார்ப்பு போன்றவற்றைப் பயன்படுத்தி வருகையாளர் மனிதரா என்பதை உறுதிப்படுத்த சில இணையதளங்கள் கூடுதல் application-level சோதனைகளைச் செயல்படுத்துகின்றன. OpenAI கிராலர்கள் தானியக்க அமைப்புகள் என்பதால், கிராலர் முந்தைய அடுக்குகளை வெற்றிகரமாகக் கடந்தாலும் இந்தச் சோதனைகள் அணுகலைத் தடுக்கலாம்.
உங்கள் application-இல் செயல்படுத்தப்பட்டுள்ள மனிதச் சரிபார்ப்பு அல்லது anti-automation தர்க்கம் ஏதேனும் உள்ளதா என்பதை மதிப்பாய்வு செய்து, பொருத்தமான இடங்களில் OpenAI கிராலர்களுக்கு விலக்கு அளிக்கப்பட்டுள்ளதை உறுதிசெய்யவும்; சிறந்த முறையில், எங்கள் கிராலர் user agents-ஐ அனுமதிப்பட்டியலில் சேர்த்து இதைச் செய்யுங்கள்.
நிலையான IP வரம்புகள் குறித்த குறிப்பு
கிராலர் ட்ராஃபிக்கை நம்பகமாக அனுமதிப்பட்டியலில் சேர்க்கும் முன், அது நிலையான, பொதுவாக ஆவணப்படுத்தப்பட்ட IP வரம்புகளிலிருந்து வர வேண்டும் என்று சில பாதுகாப்பு அமைப்புகள் தேவைப்படுத்துகின்றன. கிராலர் உட்கட்டமைப்பு காலப்போக்கில் மாறக்கூடும் என்பதால், logs-இல் காணப்படும் குறுகியகால IP கவனிப்புகளையே மட்டுமே சார்ந்து இருப்பதை உங்கள் பொறியியல் குழு தவிர்க்க வேண்டும். அதற்கு பதிலாக, user-agent அடையாளம் காணல், ஆதரிக்கப்படும் இடங்களில் சரிபார்க்கப்பட்ட bot திட்டங்கள், firewall அனுமதிப்பட்டியல்கள், robots.txt நடத்தை மற்றும் வழங்குநர் நிலை bot சரிபார்ப்பு அமைப்புகள் ஆகியவற்றின் சேர்க்கையின் மூலம் ட்ராஃபிக்கைச் சரிபார்க்கவும்.
நீங்கள் நிலையான IP வரம்புகளின் பட்டியலை அனுமதிக்க வேண்டியிருந்தால், https://openai.com/searchbot.json மற்றும் https://openai.com/adsbot.json ஆகியவற்றைப் பார்க்கவும்.
விகித வரம்பு குறித்த குறிப்பு
பெரிய அளவிலான batch பதிவேற்றங்கள் அல்லது கிராலர் ட்ராஃபிக்கில் திடீர் அதிகரிப்புகள் சில நேரங்களில் தானியக்க விகித வரம்பு விதித்தல் அல்லது bot பாதுகாப்பு அமைப்புகளைத் தூண்டலாம்.
விகித வரம்பு விதித்தல் நடைபெறுகிறது என்று நீங்கள் சந்தேகித்தால், கிராலர் அணுக முயன்ற நேரத்தைச் சுற்றிய HTTP response codes, குறிப்பாக 429 Too Many Requests, firewall அல்லது CDN logs, bot தணிப்பு நிகழ்வுகள், request throttling விதிகள் மற்றும் traffic analytics ஆகியவற்றை மதிப்பாய்வு செய்ய உங்கள் பொறியியல் குழுவிடம் கேளுங்கள். உட்கட்டமைப்பு பாதுகாப்புகள் கோரிக்கைகளை திட்டமிட்டு மெதுவாக்குகின்றனவா அல்லது தடுக்கின்றனவா என்பதை அடையாளம் காண இது உதவும்.
சிறிய batch-களாக, நீண்ட கால இடைவெளியில் விளம்பரங்களைப் பதிவேற்றுவதையும் நீங்கள் பரிசீலிக்கலாம்.
Cloudflare குறித்த குறிப்பு
OAI-AdsBot அதிகாரப்பூர்வமாக Cloudflare மூலம் சரிபார்க்கப்பட்டு அனுமதிப்பட்டியலில் சேர்க்கப்பட்டுள்ளது.
கிராலர் மற்றும் லாண்டிங் பக்கம் FAQ
விளம்பர மதிப்பாய்வுக்கு எந்த கிராலர் தேவை?
ChatGPT Ads லாண்டிங் பக்கச் சரிபார்ப்பு மற்றும் மதிப்பாய்வுக்கு OAI-AdsBot தேவை. OpenAI-க்கு பொது வலை உள்ளடக்கத்தைப் புரிந்துகொள்ள OAI-SearchBot உதவக்கூடும் என்பதால் அது பரிந்துரைக்கப்படுகிறது, ஆனால் விளம்பரத் தயார்நிலைக்காக விளம்பரதாரர்கள் முன்னுரிமை தர வேண்டிய கிராலர் OAI-AdsBot ஆகும்.
ஆதரவு குழு கிராலர் சரிபார்ப்பை கைமுறையாகத் தவிர்க்க முடியுமா?
கைமுறை தவிர்ப்பை நம்பிக் கொண்டிருக்க வேண்டாம். robots.txt, WAF, CDN, bot தணிப்பு, authentication மற்றும் விகித வரம்பு தடைகளைச் சரிசெய்து, OAI-AdsBot கிரால் செய்யக்கூடியதாக லாண்டிங் பக்கத்தை மாற்றுங்கள். லாண்டிங் பக்கம் அணுகக்கூடியதாக ஆன பிறகு, விளம்பரங்களை மீண்டும் பதிவேற்றவோ மதிப்பாய்வுக்காக மீண்டும் சமர்ப்பிக்கவோ வேண்டியிருக்கலாம்.
என் பொறியியல் குழு முதலில் எதைச் சரிபார்க்க வேண்டும்?
லாண்டிங் பக்கம் OAI-AdsBot-க்கு வெற்றிகரமான HTTP response-ஐத் தருகிறதா, robots.txt தொடர்புடைய பாதையை அனுமதிக்கிறதா, மேலும் WAF, CDN, bot தணிப்பு, JavaScript சவால்கள், CAPTCHA-கள், authentication அல்லது geo விதிகள் தானியக்க அணுகலைத் தடுக்கின்றனவா என்பதைச் சரிபார்க்கவும்.
app-store இணைப்புகள், deep links அல்லது வலை அல்லாத இலக்குகள் லாண்டிங் பக்கங்களாக ஆதரிக்கப்படுகிறதா?
சாத்தியமான போதெல்லாம் நேரடியாக அணுகக்கூடிய வலை லாண்டிங் பக்கத்தைப் பயன்படுத்துங்கள். app-store இணைப்புகள், deep links, ஆவணங்கள், அல்லது ஒரு app, உள்நுழைவு, பிராந்திய-குறிப்பிட்ட அணுகல் அல்லது ஆதரிக்கப்படாத redirects தேவைப்படும் இலக்குகள், சரிபார்ப்பு அல்லது மதிப்பாய்வுக்கு போதுமான கிரால் செய்யக்கூடிய உள்ளடக்கத்தை வழங்காமல் இருக்கலாம்.
நான் எப்போது மீண்டும் பதிவேற்ற வேண்டும் அல்லது மீண்டும் மதிப்பாய்வு கோர வேண்டும்?
கிராலர் அணுகலைச் சரிசெய்த பிறகு, நிலை தானாகப் புதுப்பிக்கப்படாவிட்டால் பாதிக்கப்பட்ட விளம்பரங்களை மீண்டும் பதிவேற்றவும் அல்லது மீண்டும் சமர்ப்பிக்கவும். மொத்தமாக பதிவேற்றப்பட்ட விளம்பரங்களுக்கு, உங்கள் குழு திருத்தத்தைச் சரிபார்க்கும் போது சிறிய batch-கள் விகித வரம்பு அல்லது bot பாதுகாப்பு தூண்டுதல்களை குறைக்கலாம்.