OpenAI веб-краулерлерді не үшін пайдаланады?
ChatGPT жүйесінде жарнама ретінде жіберілген веб-беттердің қауіпсіздігін тексеру үшін краулерлерді пайдаланамыз. Жарнама жіберген кезде, OpenAI оның саясаттарымызға сәйкестігін тексеру үшін бастапқы бетті ашуы мүмкін. Сондай-ақ жарнаманы пайдаланушыларға көрсетуге ең қолайлы уақытты анықтау үшін бастапқы беттегі контентті пайдалануымыз мүмкін.
OpenAI-дың қай краулерлеріне рұқсат беру керек?
OAI-AdsBot краулеріне міндетті түрде рұқсат беруіңіз керек. OAI-AdsBot және OAI-SearchBot краулерлерінің екеуіне де рұқсат беруді ұсынамыз.
Өнім фидтері үшін OAI-SearchBot краулеріне өнім кескіндерінің URL мекенжайларын тексеруге де рұқсат беріңіз. Кескіндер орналастырылған хосттағы брандмауэр, CDN және боттардан қорғау ережелерін тексеріңіз: 403 жауабы фидтің өңделуіне кедергі келтіруі мүмкін.
OpenAI краулерлері веб-сайтымды тексере алмайды. Не істеуім керек?
Краулер веб-бетке сәтті кіре алуы үшін көптеген веб-сайттағы бірнеше қорғаныс қабатынан өтуі керек. OpenAI краулерлерінің төмендегі әрбір қабаттан өте алатынын инженерлік немесе қауіпсіздік тобыңызбен бірге тексеріңіз.
1. robots.txt
robots.txt файлы краулерлерге веб-сайттың белгілі бір бөліктеріне кіруге рұқсат бар-жоғын көрсетеді. OpenAI краулерлері бұл ережелерді сақтайды. Егер robots.txt файлында кіруге тыйым салынса, тексеру дереу тоқтайды.
robots.txt конфигурациясын қарап шығып, OpenAI краулерлеріне тиісті беттер мен жолдарға кіруге тікелей рұқсат берілгенін растаңыз. Мысалы: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Веб-қорғаныс және боттарды бейтараптандыру
Көптеген веб-сайт DDoS шабуылдарынан, деректерді автоматты жинаудан және рұқсатсыз трафиктен қорғану үшін Cloudflare, Akamai немесе басқа веб-қорғаныс провайдерлерінің қызметтерін пайдаланады. Бұл жүйелер заңды краулерлерді қателесіп бұғаттап, көбіне 403 Forbidden қатесін қайтаруы мүмкін. OpenAI краулерлері автоматтандырылған трафикке ұқсайтындықтан, рұқсат етілгендер тізіміне арнайы қосылмаса, оларға кіруге тыйым салынуы мүмкін.
Веб-қорғаныс немесе брандмауэр конфигурациясын қарап шығып, мүмкін болса, OpenAI краулерлерінің трафигін, дұрысы олардың пайдаланушы агенттері негізінде, рұқсат етілгендер тізіміне қосыңыз. Инженерлік немесе инфрақұрылым тобыңыз жалған іске қосылуы мүмкін боттарды автоматты түрде бейтараптандыру ережелерін де тексеруі керек.
3. Адамды растау және боттарға қарсы логика
Кейбір веб-сайттар кірушінің адам екенін тексеру үшін қолданба деңгейінде CAPTCHA, JavaScript сынақтары, мінез-құлықты талдау немесе сеансты растау сияқты қосымша тексерістерді қолданады. OpenAI краулерлері автоматтандырылған жүйелер болғандықтан, олар алдыңғы қабаттардан сәтті өтсе де, бұл тексерістер кіруді бұғаттауы мүмкін.
Қолданбаңыздағы адамды растау немесе автоматтандыруға қарсы логиканы қарап шығып, қажет жерлерде OpenAI краулерлерін тексерістен босатыңыз. Дұрысы — олардың пайдаланушы агенттерін рұқсат етілгендер тізіміне қосу.
Тұрақты IP ауқымдары туралы ескертпе
Кейбір қауіпсіздік жүйелерінде трафикті рұқсат етілгендер тізіміне сенімді түрде қосу үшін краулер трафигі жалпыға қолжетімді құжатталған тұрақты IP ауқымдарынан келуі керек. Краулер инфрақұрылымы уақыт өте өзгеруі мүмкін, сондықтан инженерлік тобыңыз журналдардағы қысқа мерзімді IP бақылауларына ғана сүйенбеуі керек. Оның орнына трафикті пайдаланушы агентін анықтау, қолдау көрсетілсе расталған бот бағдарламалары, брандмауэрдің рұқсат етілгендер тізімдері, robots.txt әрекеті және провайдер деңгейіндегі боттарды растау жүйелері арқылы кешенді түрде тексеріңіз.
Тұрақты IP ауқымдарының тізіміне рұқсат беру қажет болса, https://openai.com/searchbot.json және https://openai.com/adsbot.json файлдарын қараңыз.
Жиілікті шектеу туралы ескертпе
Үлкен топтамаларды жүктеу немесе краулер трафигінің кенет артуы кейде жиілікті автоматты шектеу немесе боттардан қорғау жүйелерін іске қосуы мүмкін.
Жиілік шектеліп жатыр деп күмәндансаңыз, инженерлік топтан краулер кіруге әрекеттенген уақыттағы HTTP жауап кодтарын, әсіресе 429 Too Many Requests кодын, брандмауэр немесе CDN журналдарын, боттарды бейтараптандыру оқиғаларын, сұрауларды шектеу ережелерін және трафик талдауын тексеруді сұраңыз. Бұл сұраулардың инфрақұрылым қорғанысы тарапынан әдейі баяулатылып немесе бұғатталып жатқанын анықтауға көмектеседі.
Сондай-ақ жарнамаларды ұзағырақ уақыт аралығында шағын топтамалармен жүктеп көруге болады.
Cloudflare туралы ескертпе
OAI-AdsBot краулері Cloudflare тарапынан ресми түрде расталып, рұқсат етілгендер тізіміне қосылған.
Краулерлер мен бастапқы беттер туралы жиі қойылатын сұрақтар
Жарнаманы тексеру үшін қай краулер қажет?
ChatGPT Ads бастапқы бетін растау және тексеру үшін OAI-AdsBot қажет. OAI-SearchBot ұсынылады, себебі ол OpenAI-ға жалпыға қолжетімді веб-контентті түсінуге көмектесуі мүмкін. Дегенмен жарнаманы дайындау кезінде жарнама берушілер OAI-AdsBot краулеріне басымдық беруі керек.
Қолдау қызметі краулер тексерісін қолмен айналып өте ала ма?
Тексерісті қолмен айналып өтуге сенбеңіз. robots.txt, WAF, CDN, боттарды бейтараптандыру, аутентификация және жиілікті шектеу бұғаттауларын түзетіп, бастапқы бетті OAI-AdsBot краулері үшін қолжетімді етіңіз. Бастапқы бет қолжетімді болғаннан кейін жарнамаларды қайта жүктеу немесе тексеруге қайта жіберу қажет болуы мүмкін.
Инженерлік тобым алдымен нені тексеруі керек?
Бастапқы беттің OAI-AdsBot сұрауына сәтті HTTP жауабын қайтаратынын, robots.txt файлы тиісті жолға рұқсат беретінін және WAF, CDN, боттарды бейтараптандыру, JavaScript сынақтары, CAPTCHA, аутентификация немесе географиялық ережелер автоматты кіруді бұғаттамайтынын тексеріңіз.
Қолданбалар дүкенінің сілтемелері, терең сілтемелер немесе вебке жатпайтын мақсаттар бастапқы бет ретінде қолдау таба ма?
Мүмкіндігінше тікелей ашылатын веб-бастапқы бетті пайдаланыңыз. Қолданбалар дүкенінің сілтемелері, терең сілтемелер, құжаттар немесе қолданбаны, жүйеге кіруді, белгілі бір аймақтан кіруді не қолдау көрсетілмейтін қайта бағыттауды қажет ететін мақсаттар растау немесе тексеру үшін жеткілікті қолжетімді контент бермеуі мүмкін.
Жарнаманы қашан қайта жүктеуім немесе қайта тексеруді сұрауым керек?
Краулердің кіру мәселесін түзеткеннен кейін күй автоматты түрде жаңармаса, зардап шеккен жарнамаларды қайта жүктеңіз немесе тексеруге қайта жіберіңіз. Жаппай жүктелген жарнамаларды шағын топтамаларға бөлу тобыңыз түзетуді тексеріп жатқанда жиілікті шектеу немесе боттардан қорғау тетіктерінің іске қосылуын азайтады.