Зошто OpenAI користи веб-роботи за индексирање?
Користиме роботи за индексирање за да ја провериме безбедноста на веб-страниците поднесени како реклами на ChatGPT. Кога поднесувате реклама, OpenAI може да ја посети одредишната страница за да се увери дека е во согласност со нашите правила. Може да користиме и содржина од одредишната страница за да одредиме кога е најрелевантно рекламата да им се прикаже на корисниците.
Кои роботи за индексирање на OpenAI треба да ги дозволите?
Мора да го дозволите OAI-AdsBot. Препорачуваме да ги дозволите и OAI-AdsBot и OAI-SearchBot.
Роботите за индексирање на OpenAI не можат да ја индексираат мојата веб-локација. Што треба да направам?
Повеќето веб-локации имаат повеќе слоеви на заштита пред робот за индексирање успешно да пристапи до веб-страница. Соработувајте со вашиот инженерски или безбедносен тим за да потврдите дека роботите за индексирање на OpenAI можат да поминат низ секој од следниве слоеви.
1. robots.txt
Датотеката robots.txt им кажува на роботите за индексирање дали смеат да пристапат до одредени делови од вашата веб-локација. Роботите за индексирање на OpenAI ги почитуваат овие правила. Ако пристапот е забранет во robots.txt, индексирањето ќе запре веднаш.
Прегледајте ја конфигурацијата на robots.txt и потврдете дека на роботите за индексирање на OpenAI изречно им е дозволен пристап до релевантните страници и патеки. На пример: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Веб-заштита и ублажување на ботови
Многу веб-локации користат услуги како Cloudflare, Akamai или други даватели на веб-заштита за одбрана од DDoS напади, собирање податоци и неовластен сообраќај. Овие системи можат погрешно да блокираат легитимни роботи за индексирање, често враќајќи грешки 403 Forbidden. Бидејќи роботите за индексирање на OpenAI може да личат на шаблони на автоматизиран сообраќај, може да им биде одбиен пристапот ако не се посебно ставени на листа на дозволени.
Прегледајте ја конфигурацијата на веб-заштитата или заштитниот ѕид и, каде што е можно, ставете го сообраќајот од роботите за индексирање на OpenAI на листа на дозволени, идеално според нашите кориснички агенти за роботи за индексирање. Вашиот инженерски или инфраструктурен тим треба да ги провери и сите автоматизирани правила за ублажување на ботови што би можеле да предизвикуваат лажно позитивни резултати.
3. Проверка на човек и логика против ботови
Некои веб-локации применуваат дополнителни проверки на ниво на апликација за да потврдат дека посетителот е човек, како CAPTCHAs, JavaScript предизвици, анализа на однесување или валидација на сесија. Бидејќи роботите за индексирање на OpenAI се автоматизирани системи, овие проверки може да го блокираат пристапот дури и ако роботот успешно ги помине претходните слоеви.
Прегледајте ја секоја логика за проверка на човек или против автоматизација имплементирана во вашата апликација и осигурете дека роботите за индексирање на OpenAI се изземени каде што е соодветно, идеално со ставање на нашите кориснички агенти за роботи за индексирање на листа на дозволени.
Белешка за стабилни IP-опсези
Некои безбедносни системи бараат сообраќајот од роботи за индексирање да потекнува од стабилни, јавно документирани IP-опсези пред тој сообраќај да може сигурно да се стави на листа на дозволени. Бидејќи инфраструктурата за роботи за индексирање може да се развива со текот на времето, вашиот инженерски тим не треба да се потпира само на краткорочни IP-набљудувања од дневниците. Наместо тоа, потврдувајте го сообраќајот преку комбинација од идентификација на кориснички агент, програми за проверени ботови каде што се поддржани, листи на дозволени во заштитниот ѕид, однесување на robots.txt и системи за проверка на ботови на ниво на давател.
Ако мора да дозволите стабилна листа на IP-опсези, користете ги како референца https://openai.com/searchbot.json и https://openai.com/adsbot.json.
Белешка за ограничување на брзината
Големи сериски прикачувања или ненадејни скокови во сообраќајот од роботи за индексирање понекогаш можат да активираат автоматизирано ограничување на брзината или системи за заштита од ботови.
Ако се сомневате дека се случува ограничување на брзината, побарајте од вашиот инженерски тим да ги прегледа кодовите на HTTP-одговорите, особено 429 Too Many Requests, дневниците на заштитниот ѕид или CDN, настаните за ублажување на ботови, правилата за ограничување на барањата и аналитиката на сообраќајот околу времето кога роботот за индексирање се обидел да пристапи. Ова може да помогне да се утврди дали барањата намерно се забавуваат или блокираат од инфраструктурните заштити.
Може да размислите и за прикачување реклами во помали серии во подолг временски период.
Белешка за Cloudflare
OAI-AdsBot е официјално проверен и ставен на листа на дозволени од Cloudflare.
ЧПП за роботи за индексирање и одредишни страници
Кој робот за индексирање е потребен за преглед на реклами?
OAI-AdsBot е потребен за валидација и преглед на одредишните страници за реклами во ChatGPT. OAI-SearchBot се препорачува бидејќи може да му помогне на OpenAI да ја разбере јавната веб-содржина, но OAI-AdsBot е роботот за индексирање што огласувачите треба да го приоритизираат за подготвеност на рекламите.
Може ли поддршката рачно да ја заобиколи валидацијата од роботот за индексирање?
Не потпирајте се на рачно заобиколување. Направете ја одредишната страница достапна за индексирање од OAI-AdsBot така што ќе ги поправите блокадите во robots.txt, WAF, CDN, ублажувањето на ботови, автентикацијата и ограничување на брзината. Можеби ќе треба рекламите повторно да се прикачат или повторно да се поднесат на преглед откако одредишната страница ќе стане достапна.
Што треба прво да провери мојот инженерски тим?
Проверете дали одредишната страница враќа успешен HTTP-одговор до OAI-AdsBot, дали robots.txt ја дозволува релевантната патека и дали WAF, CDN, ублажувањето на ботови, JavaScript предизвиците, CAPTCHAs, автентикацијата или гео-правилата го блокираат автоматизираниот пристап.
Дали линкови до продавници за апликации, длабоки линкови или одредишта што не се веб-страници се поддржани како одредишни страници?
Користете директно достапна веб-одредишна страница секогаш кога е можно. Линкови до продавници за апликации, длабоки линкови, документи или одредишта што бараат апликација, најавување, пристап специфичен за регион или неподдржани пренасочувања може да не обезбедат доволно содржина достапна за индексирање за валидација или преглед.
Кога треба повторно да прикачам или повторно да побарам преглед?
Откако ќе го поправите пристапот за роботот за индексирање, повторно прикачете ги или повторно поднесете ги засегнатите реклами ако статусот не се ажурира сам. За масовно прикачени реклами, помалите серии можат да ги намалат активирањата на ограничување на брзината или заштитата од ботови додека вашиот тим ја проверува поправката.