Защо OpenAI използва обхождащи роботи?
Използваме обхождащи роботи, за да проверяваме безопасността на уеб страниците, изпратени като реклами в ChatGPT. Когато изпратите реклама, OpenAI може да посети целевата страница, за да провери дали тя отговаря на правилата ни. Може също да използваме съдържание от целевата страница, за да определим кога рекламата е най-подходяща за показване на потребителите.
Кои обхождащи роботи на OpenAI трябва да разрешите?
Трябва да разрешите OAI-AdsBot. Препоръчваме да разрешите както OAI-AdsBot, така и OAI-SearchBot.
За продуктови канали разрешете на OAI-SearchBot да обхожда и URL адресите на продуктовите изображения. Проверете защитната стена, CDN и правилата за защита от ботове на хоста на изображенията. Отговор 403 може да блокира обработката на канала.
Обхождащите роботи на OpenAI не успяват да обходят уебсайта ми. Какво да направя?
Повечето уебсайтове имат няколко нива на защита, през които обхождащият робот трябва да премине, преди да получи достъп до дадена уеб страница. Заедно с екипа си по инженеринг или сигурност проверете дали обхождащите роботи на OpenAI могат да преминат през всяко от следните нива.
1. robots.txt
Файлът robots.txt указва на обхождащите роботи дали имат право на достъп до определени части от уебсайта ви. Обхождащите роботи на OpenAI спазват тези правила. Ако достъпът е забранен в robots.txt, обхождането ще спре незабавно.
Прегледайте конфигурацията на robots.txt и потвърдете, че обхождащите роботи на OpenAI имат изрично разрешение за достъп до съответните страници и пътища. Например: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Уеб защита и ограничаване на ботове
Много уебсайтове използват услуги като Cloudflare, Akamai или други доставчици на уеб защита срещу DDoS атаки, извличане на данни и неупълномощен трафик. Тези системи могат погрешно да блокират легитимни обхождащи роботи, като често връщат грешка 403 Forbidden. Тъй като трафикът от обхождащите роботи на OpenAI може да прилича на автоматизиран трафик, достъпът им може да бъде отказан, освен ако не са изрично добавени в списък с разрешени.
Прегледайте настройките на уеб защитата или защитната стена и по възможност добавете трафика от обхождащите роботи на OpenAI в списъка с разрешени, за предпочитане въз основа на техните потребителски агенти. Екипът ви по инженеринг или инфраструктура трябва да провери и всички автоматизирани правила за ограничаване на ботове, които може да дават фалшиви положителни резултати.
3. Проверка за човек и логика срещу ботове
Някои уебсайтове прилагат допълнителни проверки на ниво приложение, за да установят дали посетителят е човек, например CAPTCHA, JavaScript предизвикателства, анализ на поведението или валидиране на сесията. Тъй като обхождащите роботи на OpenAI са автоматизирани системи, тези проверки може да блокират достъпа дори ако роботът успешно е преминал през предходните нива.
Прегледайте логиката за проверка за човек или срещу автоматизация във вашето приложение и при необходимост изключете от нея обхождащите роботи на OpenAI, за предпочитане чрез добавяне на техните потребителски агенти в списъка с разрешени.
Бележка за стабилните диапазони от IP адреси
Някои системи за сигурност изискват трафикът от обхождащи роботи да идва от стабилни, публично документирани диапазони от IP адреси, преди да може надеждно да бъде добавен в списък с разрешени. Тъй като инфраструктурата на обхождащите роботи може да се променя с времето, инженерният ви екип не бива да разчита само на краткосрочни наблюдения на IP адреси от регистрационните файлове. Вместо това проверявайте трафика чрез съчетание от идентификация по потребителски агент, програми за проверени ботове, когато се поддържат, списъци с разрешени във firewall, поведението на robots.txt и системи на доставчика за проверка на ботове.
Ако трябва да разрешите стабилен списък с диапазони от IP адреси, използвайте https://openai.com/searchbot.json и https://openai.com/adsbot.json.
Бележка за ограничаването на честотата на заявките
Качването на големи пакети или внезапните пикове в трафика от обхождащи роботи понякога могат да задействат автоматично ограничаване на честотата на заявките или системите за защита от ботове.
Ако подозирате ограничаване на честотата на заявките, помолете инженерния си екип да прегледа кодовете на HTTP отговорите, особено 429 Too Many Requests, регистрационните файлове на защитната стена или CDN, събитията за ограничаване на ботове, правилата за ограничаване на заявките и анализа на трафика около момента, когато роботът е опитал да получи достъп. Това може да помогне да се установи дали заявките умишлено се забавят или блокират от защитите на инфраструктурата.
Може също да качвате рекламите на по-малки пакети за по-дълъг период.
Бележка за Cloudflare
OAI-AdsBot е официално потвърден и добавен от Cloudflare в списъка с разрешени.
Често задавани въпроси за обхождащите роботи и целевите страници
Кой обхождащ робот е необходим за преглед на рекламите?
OAI-AdsBot е необходим за валидиране и преглед на целевите страници за Реклами в ChatGPT. OAI-SearchBot се препоръчва, тъй като може да помогне на OpenAI да разбира публичното уеб съдържание, но рекламодателите трябва да дадат приоритет на OAI-AdsBot при подготовката на рекламите.
Може ли екипът за поддръжка ръчно да заобиколи валидирането от обхождащия робот?
Не разчитайте на ръчно заобикаляне. Осигурете достъп на OAI-AdsBot до целевата страница, като отстраните блокиранията в robots.txt, WAF, CDN, системите за ограничаване на ботове, удостоверяването и ограниченията на честотата на заявките. След като целевата страница стане достъпна, може да се наложи рекламите да бъдат качени отново или повторно изпратени за преглед.
Какво трябва първо да провери инженерният ми екип?
Проверете дали целевата страница връща успешен HTTP отговор на OAI-AdsBot, дали robots.txt разрешава съответния път и дали WAF, CDN, системите за ограничаване на ботове, JavaScript предизвикателствата, CAPTCHA, удостоверяването или географските правила блокират автоматизирания достъп.
Поддържат ли се като целеви страници връзки към магазини за приложения, дълбоки връзки или местоназначения извън уеб?
Когато е възможно, използвайте пряко достъпна уеб целева страница. Връзките към магазини за приложения, дълбоките връзки, документите или местоназначенията, които изискват приложение, вход, достъп само от определен регион или неподдържани пренасочвания, може да не предоставят достатъчно достъпно за обхождане съдържание за валидиране или преглед.
Кога трябва да кача отново или да поискам нов преглед?
След като коригирате достъпа за обхождащия робот, качете отново или изпратете повторно засегнатите реклами, ако състоянието не се актуализира автоматично. При групово качени реклами по-малките пакети могат да намалят задействането на ограниченията за честота или защитата от ботове, докато екипът ви проверява корекцията.