OpenAI വെബ് ക്രോളറുകൾ ഉപയോഗിക്കുന്നത് എന്തുകൊണ്ടാണ്?
ChatGPT-ൽ പരസ്യങ്ങളായി സമർപ്പിക്കുന്ന വെബ് പേജുകളുടെ സുരക്ഷ പരിശോധിക്കാൻ ഞങ്ങൾ ക്രോളറുകൾ ഉപയോഗിക്കുന്നു. നിങ്ങൾ ഒരു പരസ്യം സമർപ്പിക്കുമ്പോൾ, ലാൻഡിങ് പേജ് ഞങ്ങളുടെ നയങ്ങൾ പാലിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ OpenAI അത് സന്ദർശിച്ചേക്കാം. ഉപയോക്താക്കൾക്ക് പരസ്യം കാണിക്കാൻ ഏറ്റവും പ്രസക്തമായ സമയം നിർണ്ണയിക്കാൻ ലാൻഡിങ് പേജിലെ ഉള്ളടക്കവും ഞങ്ങൾ ഉപയോഗിച്ചേക്കാം.
ഏതൊക്കെ OpenAI ക്രോളറുകളെയാണ് നിങ്ങൾ അനുവദിക്കേണ്ടത്?
നിങ്ങൾ OAI-AdsBot അനുവദിക്കണം. OAI-AdsBot, OAI-SearchBot എന്നിവ രണ്ടും അനുവദിക്കാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു.
ഉൽപ്പന്ന ഫീഡുകൾക്കായി, ഉൽപ്പന്ന ചിത്രങ്ങളുടെ URL-കൾ ക്രോൾ ചെയ്യാൻ OAI-SearchBot-നെയും അനുവദിക്കുക. ചിത്രം ഹോസ്റ്റ് ചെയ്യുന്ന സംവിധാനത്തിലെ ഫയർവാൾ, CDN, ബോട്ട് സംരക്ഷണ നിയമങ്ങൾ പരിശോധിക്കുക. 403 പ്രതികരണം ഫീഡ് പ്രോസസ്സിങ് തടഞ്ഞേക്കാം.
OpenAI ക്രോളറുകൾക്ക് എന്റെ വെബ്സൈറ്റ് ക്രോൾ ചെയ്യാനാകുന്നില്ല. ഞാൻ എന്തുചെയ്യണം?
ഒരു ക്രോളറിന് വെബ് പേജ് വിജയകരമായി ആക്സസ് ചെയ്യുന്നതിന് മുമ്പ് കടന്നുപോകേണ്ട ഒന്നിലധികം സംരക്ഷണ പാളികൾ മിക്ക വെബ്സൈറ്റുകളിലുമുണ്ട്. ഇനിപ്പറയുന്ന ഓരോ പാളിയിലൂടെയും OpenAI ക്രോളറുകൾക്ക് കടന്നുപോകാനാകുമെന്ന് നിങ്ങളുടെ എൻജിനീയറിങ് അല്ലെങ്കിൽ സുരക്ഷാ ടീമിനൊപ്പം പരിശോധിച്ച് ഉറപ്പാക്കുക.
1. robots.txt
നിങ്ങളുടെ വെബ്സൈറ്റിന്റെ ചില ഭാഗങ്ങൾ ആക്സസ് ചെയ്യാൻ ക്രോളറുകൾക്ക് അനുമതിയുണ്ടോ എന്ന് robots.txt ഫയൽ അവയെ അറിയിക്കുന്നു. OpenAI ക്രോളറുകൾ ഈ നിയമങ്ങൾ പാലിക്കുന്നു. robots.txt-ൽ ആക്സസ് നിരസിച്ചിട്ടുണ്ടെങ്കിൽ, ക്രോളിങ് ഉടൻ നിർത്തും.
നിങ്ങളുടെ robots.txt ക്രമീകരണം പരിശോധിച്ച്, പ്രസക്തമായ പേജുകളും പാത്തുകളും ആക്സസ് ചെയ്യാൻ OpenAI ക്രോളറുകൾക്ക് വ്യക്തമായി അനുമതി നൽകിയിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക. ഉദാഹരണത്തിന്: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. വെബ് സംരക്ഷണവും ബോട്ട് പ്രതിരോധവും
DDoS ആക്രമണങ്ങൾ, വിവരശേഖരണത്തിനായുള്ള അനധികൃത പകർത്തൽ, അനധികൃത ട്രാഫിക് എന്നിവയിൽനിന്ന് സംരക്ഷിക്കാൻ പല വെബ്സൈറ്റുകളും Cloudflare, Akamai പോലുള്ള വെബ് സംരക്ഷണ സേവനങ്ങൾ ഉപയോഗിക്കുന്നു. ഈ സംവിധാനങ്ങൾ നിയമാനുസൃത ക്രോളറുകളെ അബദ്ധത്തിൽ തടയുകയും പലപ്പോഴും 403 Forbidden പിശകുകൾ നൽകുകയും ചെയ്യാം. OpenAI ക്രോളറുകൾ സ്വയമേവയുള്ള ട്രാഫിക്കിനോട് സാമ്യമുള്ളതിനാൽ, അവയെ പ്രത്യേകം അനുവദനീയ പട്ടികയിൽ ചേർത്തില്ലെങ്കിൽ ആക്സസ് നിരസിക്കപ്പെട്ടേക്കാം.
നിങ്ങളുടെ വെബ് സംരക്ഷണ അല്ലെങ്കിൽ ഫയർവാൾ ക്രമീകരണം പരിശോധിച്ച്, സാധ്യമാകുന്നിടത്ത് ഞങ്ങളുടെ ക്രോളർ ഉപയോക്തൃ ഏജന്റുകളെ അടിസ്ഥാനമാക്കി OpenAI ക്രോളർ ട്രാഫിക് അനുവദനീയ പട്ടികയിൽ ചേർക്കുക. തെറ്റായ തിരിച്ചറിയലിന് കാരണമാകാനിടയുള്ള സ്വയമേവയുള്ള ബോട്ട് പ്രതിരോധ നിയമങ്ങളും നിങ്ങളുടെ എൻജിനീയറിങ് അല്ലെങ്കിൽ അടിസ്ഥാനസൗകര്യ ടീം പരിശോധിക്കണം.
3. മനുഷ്യനാണെന്ന സ്ഥിരീകരണവും ബോട്ട് പ്രതിരോധ സംവിധാനവും
സന്ദർശകൻ മനുഷ്യനാണെന്ന് സ്ഥിരീകരിക്കാൻ ചില വെബ്സൈറ്റുകൾ CAPTCHA-കൾ, JavaScript വെല്ലുവിളികൾ, പെരുമാറ്റ വിശകലനം, സെഷൻ സാധൂകരണം തുടങ്ങിയ അധിക ആപ്ലിക്കേഷൻതല പരിശോധനകൾ നടപ്പാക്കുന്നു. OpenAI ക്രോളറുകൾ സ്വയമേവ പ്രവർത്തിക്കുന്ന സംവിധാനങ്ങളായതിനാൽ, ക്രോളർ മുൻ പാളികൾ വിജയകരമായി കടന്നാലും ഈ പരിശോധനകൾ ആക്സസ് തടഞ്ഞേക്കാം.
നിങ്ങളുടെ ആപ്ലിക്കേഷനിൽ നടപ്പാക്കിയ മനുഷ്യ സ്ഥിരീകരണ അല്ലെങ്കിൽ സ്വയമേവയുള്ള പ്രവർത്തനം തടയുന്ന സംവിധാനങ്ങൾ പരിശോധിക്കുക. ഉചിതമായിടത്ത്, ഞങ്ങളുടെ ക്രോളർ ഉപയോക്തൃ ഏജന്റുകളെ അനുവദനീയ പട്ടികയിൽ ചേർത്ത് OpenAI ക്രോളറുകളെ ഒഴിവാക്കുക.
സ്ഥിരമായ IP പരിധികളെക്കുറിച്ചുള്ള കുറിപ്പ്
ക്രോളർ ട്രാഫിക് വിശ്വസനീയമായി അനുവദനീയ പട്ടികയിൽ ചേർക്കുന്നതിന് മുമ്പ്, അത് പൊതുവായി രേഖപ്പെടുത്തിയ സ്ഥിരമായ IP പരിധികളിൽനിന്ന് വരണമെന്ന് ചില സുരക്ഷാ സംവിധാനങ്ങൾ ആവശ്യപ്പെടുന്നു. ക്രോളർ അടിസ്ഥാനസൗകര്യം കാലക്രമേണ മാറാനിടയുള്ളതിനാൽ, ലോഗുകളിൽനിന്നുള്ള ഹ്രസ്വകാല IP നിരീക്ഷണങ്ങളെ മാത്രം നിങ്ങളുടെ എൻജിനീയറിങ് ടീം ആശ്രയിക്കരുത്. പകരം, ഉപയോക്തൃ ഏജന്റ് തിരിച്ചറിയൽ, പിന്തുണയുള്ളിടത്തെ സ്ഥിരീകരിച്ച ബോട്ട് പ്രോഗ്രാമുകൾ, ഫയർവാൾ അനുവദനീയ പട്ടികകൾ, robots.txt പ്രവർത്തനം, സേവനദാതാവുതല ബോട്ട് സ്ഥിരീകരണ സംവിധാനങ്ങൾ എന്നിവ സംയോജിപ്പിച്ച് ട്രാഫിക് സാധൂകരിക്കുക.
സ്ഥിരമായ IP പരിധിപ്പട്ടിക അനുവദിക്കേണ്ടതുണ്ടെങ്കിൽ, https://openai.com/searchbot.json, https://openai.com/adsbot.json എന്നിവ പരിശോധിക്കുക.
നിരക്ക് പരിമിതപ്പെടുത്തലിനെക്കുറിച്ചുള്ള കുറിപ്പ്
വലിയ കൂട്ട അപ്‌ലോഡുകളോ ക്രോളർ ട്രാഫിക്കിലെ പെട്ടെന്നുള്ള വർധനയോ ചിലപ്പോൾ സ്വയമേവയുള്ള നിരക്ക് പരിമിതപ്പെടുത്തൽ അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണ സംവിധാനങ്ങൾ പ്രവർത്തനക്ഷമമാക്കിയേക്കാം.
നിരക്ക് പരിമിതപ്പെടുത്തൽ സംഭവിക്കുന്നുവെന്ന് സംശയിക്കുന്നെങ്കിൽ, ക്രോളർ ആക്സസ് ചെയ്യാൻ ശ്രമിച്ച സമയത്തെ HTTP പ്രതികരണ കോഡുകൾ, പ്രത്യേകിച്ച് 429 Too Many Requests, ഫയർവാൾ അല്ലെങ്കിൽ CDN ലോഗുകൾ, ബോട്ട് പ്രതിരോധ സംഭവങ്ങൾ, അഭ്യർത്ഥന നിയന്ത്രണ നിയമങ്ങൾ, ട്രാഫിക് വിശകലനം എന്നിവ പരിശോധിക്കാൻ എൻജിനീയറിങ് ടീമിനോട് ആവശ്യപ്പെടുക. അടിസ്ഥാനസൗകര്യ സംരക്ഷണങ്ങൾ അഭ്യർത്ഥനകളുടെ വേഗം മനഃപൂർവം കുറയ്ക്കുകയോ അവ തടയുകയോ ചെയ്യുന്നുണ്ടോ എന്ന് കണ്ടെത്താൻ ഇത് സഹായിക്കും.
കുറഞ്ഞ എണ്ണം വീതമുള്ള കൂട്ടങ്ങളായി കൂടുതൽ സമയമെടുത്ത് പരസ്യങ്ങൾ അപ്‌ലോഡ് ചെയ്യുന്നതും പരിഗണിക്കാം.
Cloudflare-നെക്കുറിച്ചുള്ള കുറിപ്പ്
OAI-AdsBot-നെ Cloudflare ഔദ്യോഗികമായി സ്ഥിരീകരിച്ച് അനുവദനീയ പട്ടികയിൽ ചേർത്തിട്ടുണ്ട്.
ക്രോളറും ലാൻഡിങ് പേജും സംബന്ധിച്ച പതിവുചോദ്യങ്ങൾ
പരസ്യ അവലോകനത്തിന് ഏത് ക്രോളറാണ് വേണ്ടത്?
ChatGPT പരസ്യങ്ങളുടെ ലാൻഡിങ് പേജ് സാധൂകരണത്തിനും അവലോകനത്തിനും OAI-AdsBot ആവശ്യമാണ്. പൊതുവായ വെബ് ഉള്ളടക്കം മനസ്സിലാക്കാൻ OAI-SearchBot OpenAI-യെ സഹായിച്ചേക്കാമെന്നതിനാൽ അത് ശുപാർശ ചെയ്യുന്നു. എന്നാൽ പരസ്യങ്ങൾ സജ്ജമാക്കുന്നതിന് പരസ്യദാതാക്കൾ മുൻഗണന നൽകേണ്ട ക്രോളർ OAI-AdsBot ആണ്.
പിന്തുണാ ടീമിന് ക്രോളർ സാധൂകരണം നേരിട്ട് മറികടക്കാനാകുമോ?
നേരിട്ടുള്ള മറികടക്കലിനെ ആശ്രയിക്കരുത്. robots.txt, WAF, CDN, ബോട്ട് പ്രതിരോധം, പ്രാമാണീകരണം, നിരക്ക് പരിമിതപ്പെടുത്തൽ എന്നിവയിലെ തടസ്സങ്ങൾ പരിഹരിച്ച് ലാൻഡിങ് പേജ് OAI-AdsBot-ന് ക്രോൾ ചെയ്യാവുന്നതാക്കുക. ലാൻഡിങ് പേജ് ആക്സസ് ചെയ്യാവുന്നതായ ശേഷം, പരസ്യങ്ങൾ വീണ്ടും അപ്‌ലോഡ് ചെയ്യുകയോ അവലോകനത്തിനായി വീണ്ടും സമർപ്പിക്കുകയോ വേണ്ടിവന്നേക്കാം.
എന്റെ എൻജിനീയറിങ് ടീം ആദ്യം എന്താണ് പരിശോധിക്കേണ്ടത്?
ലാൻഡിങ് പേജ് OAI-AdsBot-ന് വിജയകരമായ HTTP പ്രതികരണം നൽകുന്നുണ്ടോ, robots.txt പ്രസക്തമായ പാത്ത് അനുവദിക്കുന്നുണ്ടോ, WAF, CDN, ബോട്ട് പ്രതിരോധം, JavaScript വെല്ലുവിളികൾ, CAPTCHA-കൾ, പ്രാമാണീകരണം, ഭൂമിശാസ്ത്ര നിയമങ്ങൾ എന്നിവ സ്വയമേവയുള്ള ആക്സസ് തടയുന്നുണ്ടോ എന്നിവ പരിശോധിക്കുക.
ആപ്പ് സ്റ്റോർ ലിങ്കുകൾ, ഡീപ് ലിങ്കുകൾ, വെബ് ഇതര ലക്ഷ്യസ്ഥാനങ്ങൾ എന്നിവ ലാൻഡിങ് പേജുകളായി പിന്തുണയ്ക്കുന്നുണ്ടോ?
സാധ്യമാകുമ്പോഴെല്ലാം നേരിട്ട് ആക്സസ് ചെയ്യാവുന്ന വെബ് ലാൻഡിങ് പേജ് ഉപയോഗിക്കുക. ആപ്പ് സ്റ്റോർ ലിങ്കുകൾ, ഡീപ് ലിങ്കുകൾ, രേഖകൾ, അല്ലെങ്കിൽ ആപ്പ്, ലോഗിൻ, പ്രദേശാനുസൃത ആക്സസ്, പിന്തുണയില്ലാത്ത റീഡയറക്‌ടുകൾ എന്നിവ ആവശ്യമായ ലക്ഷ്യസ്ഥാനങ്ങൾ സാധൂകരണത്തിനോ അവലോകനത്തിനോ വേണ്ടത്ര ക്രോൾ ചെയ്യാവുന്ന ഉള്ളടക്കം നൽകിയേക്കില്ല.
ഞാൻ എപ്പോഴാണ് വീണ്ടും അപ്‌ലോഡ് ചെയ്യേണ്ടത് അല്ലെങ്കിൽ വീണ്ടും അവലോകനം അഭ്യർത്ഥിക്കേണ്ടത്?
ക്രോളർ ആക്സസ് പരിഹരിച്ചശേഷം നില സ്വയം പുതുക്കുന്നില്ലെങ്കിൽ, ബാധിച്ച പരസ്യങ്ങൾ വീണ്ടും അപ്‌ലോഡ് ചെയ്യുകയോ സമർപ്പിക്കുകയോ ചെയ്യുക. നിങ്ങളുടെ ടീം പരിഹാരം സാധൂകരിക്കുന്നതിനിടെ, കൂട്ടമായി അപ്‌ലോഡ് ചെയ്ത പരസ്യങ്ങളെ ചെറിയ കൂട്ടങ്ങളാക്കുന്നത് നിരക്ക് പരിമിതപ്പെടുത്തൽ അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണ സംവിധാനങ്ങൾ പ്രവർത്തനക്ഷമമാകാനുള്ള സാധ്യത കുറയ്ക്കും.