Зошто OpenAI користи веб-роботи?
Користиме веб-роботи за да ја провериме безбедноста на веб-страниците поднесени како реклами на ChatGPT. Кога поднесувате реклама, OpenAI може да ја посети целната страница за да провери дали е во согласност со нашите правила. Може да користиме и содржини од целната страница за да утврдиме кога рекламата е најрелевантна за прикажување на корисниците.
Кои веб-роботи на OpenAI треба да ги дозволите?
Мора да го дозволите OAI-AdsBot. Препорачуваме да ги дозволите и OAI-AdsBot и OAI-SearchBot.
За каталозите со производи, дозволете му и на OAI-SearchBot да пристапува до URL-адресите на сликите од производите. Проверете ги правилата на заштитниот ѕид, CDN и заштитата од ботови на серверот со сликите; одговор 403 може да ја блокира обработката на каталогот.
Веб-роботите на OpenAI не можат да пристапат до мојата веб-локација. Што треба да направам?
Повеќето веб-локации имаат повеќе слоеви на заштита низ кои веб-роботот мора да помине за успешно да пристапи до веб-страница. Заедно со вашиот инженерски или безбедносен тим проверете дали веб-роботите на OpenAI можат да поминат низ секој од следниве слоеви.
1. robots.txt
Датотеката robots.txt им укажува на веб-роботите дали смеат да пристапуваат до одредени делови од вашата веб-локација. Веб-роботите на OpenAI ги почитуваат овие правила. Ако пристапот е забранет во robots.txt, веб-роботот веднаш ќе престане со обработката.
Прегледајте ја конфигурацијата на robots.txt и потврдете дека на веб-роботите на OpenAI изречно им е дозволен пристап до соодветните страници и патеки. На пример: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Веб-заштита и спречување ботови
Многу веб-локации користат услуги како Cloudflare, Akamai или други даватели на веб-заштита за да се бранат од DDoS-напади, автоматско преземање содржини и неовластен сообраќај. Овие системи може по грешка да блокираат легитимни веб-роботи, при што често враќаат грешка 403 Forbidden. Бидејќи веб-роботите на OpenAI може да изгледаат како автоматизиран сообраќај, пристапот може да им биде одбиен ако не се изречно ставени на списокот со дозволени.
Прегледајте ја конфигурацијата на веб-заштитата или заштитниот ѕид и, каде што е можно, ставете го сообраќајот од веб-роботите на OpenAI на списокот со дозволени, по можност врз основа на нивните кориснички агенти. Вашиот инженерски или инфраструктурен тим треба да ги провери и сите автоматизирани правила за спречување ботови што би можеле погрешно да се активираат.
3. Потврда дека посетителот е човек и логика против ботови
Некои веб-локации применуваат дополнителни проверки на ниво на апликацијата за да потврдат дека посетителот е човек, како CAPTCHA, JavaScript-предизвици, анализа на однесувањето или проверка на сесијата. Бидејќи веб-роботите на OpenAI се автоматизирани системи, овие проверки може да го блокираат пристапот дури и ако роботот успешно ги поминал претходните слоеви.
Прегледајте ја логиката за потврда дека посетителот е човек или за спречување автоматизација во вашата апликација и, каде што е соодветно, изземете ги веб-роботите на OpenAI, по можност со ставање на нивните кориснички агенти на списокот со дозволени.
Напомена за стабилните опсези на IP-адреси
Некои безбедносни системи бараат сообраќајот од веб-роботите да потекнува од стабилни, јавно документирани опсези на IP-адреси пред да може сигурно да се стави на списокот со дозволени. Бидејќи инфраструктурата на веб-роботите може да се менува со текот на времето, вашиот инженерски тим не треба да се потпира само на краткорочни набљудувања на IP-адресите од дневниците. Наместо тоа, проверувајте го сообраќајот преку комбинација од идентификација на корисничкиот агент, програми за потврдени ботови каде што се поддржани, списоци со дозволени во заштитниот ѕид, однесувањето на robots.txt и системите на давателот за потврда на ботови.
Ако мора да дозволите стабилен список со опсези на IP-адреси, користете ги https://openai.com/searchbot.json и https://openai.com/adsbot.json како референца.
Напомена за ограничувањето на стапката на барања
Големите групни прикачувања или ненадејните скокови во сообраќајот од веб-роботи понекогаш може да активираат автоматско ограничување на стапката на барања или системи за заштита од ботови.
Ако се сомневате дека се применува ограничување на стапката на барања, побарајте од инженерскиот тим да ги прегледа кодовите на HTTP-одговорите, особено 429 Too Many Requests, дневниците на заштитниот ѕид или CDN, настаните поврзани со спречување ботови, правилата за ограничување на барањата и анализата на сообраќајот во времето кога веб-роботот се обидел да пристапи. Тоа може да помогне да утврдите дали барањата намерно се забавуваат или се блокираат од инфраструктурната заштита.
Може да размислите и за прикачување на рекламите во помали групи, во подолг временски период.
Напомена за Cloudflare
OAI-AdsBot е официјално потврден и ставен на списокот со дозволени од Cloudflare.
ЧПП за веб-роботите и целните страници
Кој веб-робот е потребен за проверка на рекламите?
OAI-AdsBot е потребен за проверка и преглед на целните страници за ChatGPT реклами. OAI-SearchBot се препорачува бидејќи може да му помогне на OpenAI да ја разбере јавната веб-содржина, но огласувачите треба да му дадат предност на OAI-AdsBot при подготовката на рекламите.
Може ли поддршката рачно да ја заобиколи проверката од веб-роботот?
Не потпирајте се на рачно заобиколување. Овозможете му на OAI-AdsBot пристап до целната страница со отстранување на блокадите во robots.txt, WAF, CDN, заштитата од ботови, автентикацијата и ограничувањето на стапката на барања. Откако целната страница ќе стане достапна, можеби ќе треба повторно да ги прикачите рекламите или да ги поднесете на повторен преглед.
Што треба прво да провери мојот инженерски тим?
Проверете дали целната страница враќа успешен HTTP-одговор до OAI-AdsBot, дали robots.txt ја дозволува соодветната патека и дали WAF, CDN, заштитата од ботови, JavaScript-предизвиците, CAPTCHA, автентикацијата или географските правила го блокираат автоматизираниот пристап.
Дали како целни страници се поддржани врски до продавници за апликации, длабоки врски или одредишта што не се веб-страници?
Секогаш кога е можно, користете директно достапна веб-целна страница. Врските до продавници за апликации, длабоките врски, документите или одредиштата што бараат апликација, најава, пристап од одреден регион или неподдржани пренасочувања можеби нема да обезбедат доволно достапна содржина за проверка или преглед.
Кога треба повторно да ја прикачам рекламата или да побарам нов преглед?
Откако ќе го овозможите пристапот за веб-роботот, повторно прикачете ги или поднесете ги засегнатите реклами ако статусот не се ажурира автоматски. За рекламите прикачени групно, помалите групи може да го намалат активирањето на ограничувањата на стапката на барања или заштитата од ботови додека вашиот тим го проверува решението.