OpenAI വെബ് ക്രോളറുകൾ ഉപയോഗിക്കുന്നത് എന്തുകൊണ്ട്?
ChatGPT-ൽ പരസ്യങ്ങളായി സമർപ്പിക്കുന്ന വെബ് പേജുകളുടെ സുരക്ഷ സാധൂകരിക്കാൻ ഞങ്ങൾ ക്രോളറുകൾ ഉപയോഗിക്കുന്നു. നിങ്ങൾ ഒരു പരസ്യം സമർപ്പിക്കുമ്പോൾ, അത് ഞങ്ങളുടെ നയങ്ങൾ പാലിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ OpenAI ലാൻഡിംഗ് പേജ് സന്ദർശിച്ചേക്കാം. പരസ്യം ഉപയോക്താക്കൾക്ക് എപ്പോൾ കാണിക്കുന്നതാണ് ഏറ്റവും പ്രസക്തമെന്ന് നിർണ്ണയിക്കാനും ലാൻഡിംഗ് പേജിലെ ഉള്ളടക്കം ഞങ്ങൾ ഉപയോഗിച്ചേക്കാം.
ഏത് OpenAI ക്രോളറുകളാണ് നിങ്ങൾ അനുവദിക്കേണ്ടത്?
നിങ്ങൾ OAI-AdsBot-നെ അനുവദിക്കണം. OAI-AdsBot, OAI-SearchBot എന്നിവ രണ്ടും അനുവദിക്കാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു.
OpenAI ക്രോളറുകൾക്ക് എന്റെ വെബ്സൈറ്റ് ക്രോൾ ചെയ്യാൻ കഴിയുന്നില്ല. ഞാൻ എന്ത് ചെയ്യണം?
ഒരു ക്രോളറിന് ഒരു വെബ്പേജിൽ വിജയകരമായി പ്രവേശിക്കാൻ മുമ്പ് മിക്ക വെബ്സൈറ്റുകളിലും സംരക്ഷണത്തിന്റെ പല പാളികളും ഉണ്ടായിരിക്കും. താഴെപ്പറയുന്ന ഓരോ പാളിയിലൂടെയും OpenAI ക്രോളറുകൾക്ക് കടന്നുപോകാനാകുമെന്ന് ഉറപ്പാക്കാൻ നിങ്ങളുടെ എഞ്ചിനീയറിംഗ് അല്ലെങ്കിൽ സുരക്ഷാ ടീമിനൊപ്പം പ്രവർത്തിക്കുക.
1. robots.txt
നിങ്ങളുടെ വെബ്സൈറ്റിലെ ചില ഭാഗങ്ങളിലേക്ക് പ്രവേശിക്കാൻ ക്രോളറുകൾക്ക് അനുമതിയുണ്ടോ എന്ന് robots.txt ഫയൽ അവരോട് പറയുന്നു. OpenAI ക്രോളറുകൾ ഈ നിയമങ്ങൾ പാലിക്കുന്നു. robots.txt-ൽ പ്രവേശനം അനുവദിച്ചിട്ടില്ലെങ്കിൽ, ക്രോളിംഗ് ഉടൻ തന്നെ നിർത്തും.
നിങ്ങളുടെ robots.txt കോൺഫിഗറേഷൻ പരിശോധിച്ച് പ്രസക്തമായ പേജുകളിലേക്കും പാതകളിലേക്കും പ്രവേശിക്കാൻ OpenAI ക്രോളറുകൾക്ക് വ്യക്തമായി അനുമതിയുണ്ടെന്ന് ഉറപ്പാക്കുക. ഉദാഹരണത്തിന്: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. വെബ് സംരക്ഷണവും ബോട്ട് പ്രതിരോധവും
DDoS ആക്രമണങ്ങൾ, സ്ക്രേപ്പിംഗ്, അനധികൃത ട്രാഫിക് എന്നിവയിൽ നിന്ന് സംരക്ഷിക്കാൻ പല വെബ്സൈറ്റുകളും Cloudflare, Akamai, അല്ലെങ്കിൽ മറ്റ് വെബ് സംരക്ഷണ ദാതാക്കൾ പോലുള്ള സേവനങ്ങൾ ഉപയോഗിക്കുന്നു. ഈ സംവിധാനങ്ങൾ സാധുവായ ക്രോളറുകളെ അബദ്ധത്തിൽ തടഞ്ഞേക്കാം; പലപ്പോഴും 403 Forbidden പിശകുകൾ തിരികെ നൽകും. OpenAI ക്രോളറുകൾ സ്വയമേവയുള്ള ട്രാഫിക് പാറ്റേണുകളോട് സാമ്യമുള്ളതിനാൽ, പ്രത്യേകമായി അനുവാദപ്പട്ടികയിൽ ചേർത്തില്ലെങ്കിൽ അവയ്ക്ക് പ്രവേശനം നിഷേധിക്കപ്പെട്ടേക്കാം.
നിങ്ങളുടെ വെബ് സംരക്ഷണ അല്ലെങ്കിൽ ഫയർവാൾ കോൺഫിഗറേഷൻ പരിശോധിച്ച് സാധ്യമെങ്കിൽ OpenAI ക്രോളർ ട്രാഫിക് അനുവാദപ്പട്ടികയിൽ ചേർക്കുക; ഞങ്ങളുടെ ക്രോളർ യൂസർ-ഏജന്റുകളെ അടിസ്ഥാനമാക്കുന്നതാണ് ഏറ്റവും ഉചിതം. തെറ്റായ പോസിറ്റീവുകൾക്ക് കാരണമാകാവുന്ന സ്വയമേവയുള്ള ബോട്ട് പ്രതിരോധ നിയമങ്ങളും നിങ്ങളുടെ എഞ്ചിനീയറിംഗ് അല്ലെങ്കിൽ ഇൻഫ്രാസ്ട്രക്ചർ ടീം പരിശോധിക്കണം.
3. മനുഷ്യ സ്ഥിരീകരണവും ആന്റി-ബോട്ട് ലജിക്കും
സന്ദർശകൻ മനുഷ്യനാണെന്ന് ഉറപ്പാക്കാൻ ചില വെബ്സൈറ്റുകൾ CAPTCHAs, JavaScript ചലഞ്ചുകൾ, പെരുമാറ്റ വിശകലനം, അല്ലെങ്കിൽ സെഷൻ സാധൂകരണം പോലുള്ള അധിക ആപ്ലിക്കേഷൻ-തല പരിശോധനകൾ നടപ്പിലാക്കുന്നു. OpenAI ക്രോളറുകൾ സ്വയമേവയുള്ള സംവിധാനങ്ങളായതിനാൽ, ക്രോളർ മുൻ പാളികൾ വിജയകരമായി കടന്നാലും ഈ പരിശോധനകൾ പ്രവേശനം തടഞ്ഞേക്കാം.
നിങ്ങളുടെ ആപ്ലിക്കേഷനിൽ നടപ്പിലാക്കിയിട്ടുള്ള മനുഷ്യ-സ്ഥിരീകരണ അല്ലെങ്കിൽ ആന്റി-ഓട്ടോമേഷൻ ലജിക് പരിശോധിച്ച്, അനുയോജ്യമായിടത്ത് OpenAI ക്രോളറുകളെ ഒഴിവാക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക; ഞങ്ങളുടെ ക്രോളർ യൂസർ-ഏജന്റുകളെ അനുവാദപ്പട്ടികയിൽ ചേർക്കുന്നതാണ് ഏറ്റവും ഉചിതം.
സ്ഥിരമായ IP റേഞ്ചുകളെക്കുറിച്ചുള്ള കുറിപ്പ്
ട്രാഫിക് വിശ്വാസ്യതയോടെ അനുവാദപ്പട്ടികയിൽ ചേർക്കുന്നതിന് മുമ്പ്, ക്രോളർ ട്രാഫിക് സ്ഥിരവും പൊതുവായി രേഖപ്പെടുത്തിയതുമായ IP റേഞ്ചുകളിൽ നിന്നാകണമെന്ന് ചില സുരക്ഷാ സംവിധാനങ്ങൾ ആവശ്യപ്പെടുന്നു. ക്രോളർ ഇൻഫ്രാസ്ട്രക്ചർ കാലക്രമേണ മാറാനിടയുള്ളതിനാൽ, ലോഗുകളിലെ ഹ്രസ്വകാല IP നിരീക്ഷണങ്ങളെ മാത്രം ആശ്രയിക്കുന്നത് നിങ്ങളുടെ എഞ്ചിനീയറിംഗ് ടീം ഒഴിവാക്കണം. പകരം, യൂസർ-ഏജന്റ് തിരിച്ചറിയൽ, പിന്തുണയുള്ളിടത്ത് സ്ഥിരീകരിച്ച ബോട്ട് പ്രോഗ്രാമുകൾ, ഫയർവാൾ അനുവാദപ്പട്ടികകൾ, robots.txt പെരുമാറ്റം, ദാതാവ്-തല ബോട്ട് സ്ഥിരീകരണ സംവിധാനങ്ങൾ എന്നിവയുടെ സംയോജനത്തിലൂടെ ട്രാഫിക് സാധൂകരിക്കുക.
സ്ഥിരമായ IP റേഞ്ചുകളുടെ ഒരു പട്ടിക അനുവദിക്കേണ്ടതുണ്ടെങ്കിൽ, https://openai.com/searchbot.json, https://openai.com/adsbot.json എന്നിവ കാണുക.
നിരക്ക് പരിധിയെക്കുറിച്ചുള്ള കുറിപ്പ്
വലിയ ബാച്ച് അപ്ലോഡുകളോ ക്രോളർ ട്രാഫിക്കിലെ പെട്ടെന്നുള്ള വർധനകളോ ചിലപ്പോൾ സ്വയമേവയുള്ള നിരക്ക് പരിധിയെയോ ബോട്ട് സംരക്ഷണ സംവിധാനങ്ങളെയോ ട്രിഗർ ചെയ്യാം.
നിരക്ക് പരിധി സംഭവിക്കുന്നതായി നിങ്ങൾ സംശയിക്കുന്നുവെങ്കിൽ, ക്രോളർ പ്രവേശിക്കാൻ ശ്രമിച്ച സമയത്തെ HTTP പ്രതികരണ കോഡുകൾ, പ്രത്യേകിച്ച് 429 Too Many Requests, ഫയർവാൾ അല്ലെങ്കിൽ CDN ലോഗുകൾ, ബോട്ട് പ്രതിരോധ ഇവന്റുകൾ, അഭ്യർത്ഥന ത്രോട്ട്ലിംഗ് നിയമങ്ങൾ, ട്രാഫിക് അനലിറ്റിക്സ് എന്നിവ പരിശോധിക്കാൻ നിങ്ങളുടെ എഞ്ചിനീയറിംഗ് ടീമിനോട് ആവശ്യപ്പെടുക. അഭ്യർത്ഥനകൾ ഇൻഫ്രാസ്ട്രക്ചർ സംരക്ഷണങ്ങൾ മനപ്പൂർവ്വം മന്ദഗതിയിലാക്കുകയോ തടയുകയോ ചെയ്യുന്നുണ്ടോ എന്ന് തിരിച്ചറിയാൻ ഇത് സഹായിക്കും.
കൂടുതൽ നീണ്ട കാലയളവിൽ ചെറിയ ബാച്ചുകളായി പരസ്യങ്ങൾ അപ്ലോഡ് ചെയ്യുന്നതും നിങ്ങൾ പരിഗണിക്കാം.
Cloudflare-നെക്കുറിച്ചുള്ള കുറിപ്പ്
OAI-AdsBot-നെ Cloudflare ഔദ്യോഗികമായി സ്ഥിരീകരിക്കുകയും അനുവാദപ്പട്ടികയിൽ ചേർക്കുകയും ചെയ്തിട്ടുണ്ട്.
ക്രോളറും ലാൻഡിംഗ് പേജും സംബന്ധിച്ച പതിവുചോദ്യങ്ങൾ
പരസ്യ പരിശോധനയ്ക്ക് ഏത് ക്രോളറാണ് ആവശ്യമായത്?
ChatGPT Ads ലാൻഡിംഗ് പേജ് സാധൂകരണത്തിനും പരിശോധനയ്ക്കും OAI-AdsBot ആവശ്യമാണ്. പൊതു വെബ് ഉള്ളടക്കം മനസ്സിലാക്കാൻ OpenAI-യെ സഹായിച്ചേക്കാമെന്നതിനാൽ OAI-SearchBot ശുപാർശ ചെയ്യുന്നു, എന്നാൽ പരസ്യ സജ്ജതയ്ക്കായി പരസ്യദാതാക്കൾ മുൻഗണന നൽകേണ്ട ക്രോളർ OAI-AdsBot ആണ്.
പിന്തുണാ ടീമിന് ക്രോളർ സാധൂകരണം കൈമുറയായി മറികടക്കാനാകുമോ?
കൈമുറയായി മറികടക്കുന്നതിൽ ആശ്രയിക്കരുത്. robots.txt, WAF, CDN, ബോട്ട് പ്രതിരോധം, പ്രാമാണീകരണം, നിരക്ക്-പരിധി തടസ്സങ്ങൾ എന്നിവ പരിഹരിച്ച് OAI-AdsBot-ന് ലാൻഡിംഗ് പേജ് ക്രോൾ ചെയ്യാനാകുന്ന വിധത്തിലാക്കുക. ലാൻഡിംഗ് പേജ് ലഭ്യമാകുന്നതിന് ശേഷം പരസ്യങ്ങൾ വീണ്ടും അപ്ലോഡ് ചെയ്യുകയോ പരിശോധനയ്ക്കായി വീണ്ടും സമർപ്പിക്കുകയോ ചെയ്യേണ്ടിവന്നേക്കാം.
എന്റെ എഞ്ചിനീയറിംഗ് ടീം ആദ്യം എന്താണ് പരിശോധിക്കേണ്ടത്?
ലാൻഡിംഗ് പേജ് OAI-AdsBot-ന് വിജയകരമായ HTTP പ്രതികരണം നൽകുന്നുണ്ടോ, robots.txt പ്രസക്തമായ പാത അനുവദിക്കുന്നുണ്ടോ, WAF, CDN, ബോട്ട് പ്രതിരോധം, JavaScript ചലഞ്ചുകൾ, CAPTCHAs, പ്രാമാണീകരണം, അല്ലെങ്കിൽ ജിയോ നിയമങ്ങൾ സ്വയമേവയുള്ള പ്രവേശനം തടയുന്നുണ്ടോ എന്നിവ പരിശോധിക്കുക.
ആപ്പ്-സ്റ്റോർ ലിങ്കുകൾ, ഡീപ് ലിങ്കുകൾ, അല്ലെങ്കിൽ വെബ് അല്ലാത്ത ലക്ഷ്യങ്ങൾ ലാൻഡിംഗ് പേജുകളായി പിന്തുണയ്ക്കുന്നുണ്ടോ?
സാധ്യമാകുമ്പോഴെല്ലാം നേരിട്ട് ലഭ്യമാകുന്ന ഒരു വെബ് ലാൻഡിംഗ് പേജ് ഉപയോഗിക്കുക. ആപ്പ്-സ്റ്റോർ ലിങ്കുകൾ, ഡീപ് ലിങ്കുകൾ, ഡോക്യുമെന്റുകൾ, അല്ലെങ്കിൽ ആപ്പ്, ലോഗിൻ, പ്രദേശ-നിർദ്ദിഷ്ട പ്രവേശനം, പിന്തുണയില്ലാത്ത റീഡയറക്റ്റുകൾ എന്നിവ ആവശ്യമായ ലക്ഷ്യങ്ങൾ സാധൂകരണത്തിനോ പരിശോധനയ്ക്കോ മതിയായ ക്രോൾ ചെയ്യാവുന്ന ഉള്ളടക്കം നൽകിയേക്കില്ല.
എപ്പോഴാണ് വീണ്ടും അപ്ലോഡ് ചെയ്യുകയോ വീണ്ടും പരിശോധന അഭ്യർത്ഥിക്കുകയോ വേണ്ടത്?
ക്രോളർ പ്രവേശനം പരിഹരിച്ചതിന് ശേഷം, നില സ്വയം അപ്ഡേറ്റ് ചെയ്യുന്നില്ലെങ്കിൽ ബാധിച്ച പരസ്യങ്ങൾ വീണ്ടും അപ്ലോഡ് ചെയ്യുകയോ വീണ്ടും സമർപ്പിക്കുകയോ ചെയ്യുക. ബൾക്ക് അപ്ലോഡ് ചെയ്ത പരസ്യങ്ങൾക്ക്, നിങ്ങളുടെ ടീം പരിഹാരം സാധൂകരിക്കുന്ന സമയത്ത് ചെറിയ ബാച്ചുകൾ നിരക്ക് പരിധി അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണ ട്രിഗറുകൾ കുറയ്ക്കാൻ സഹായിക്കും.