OpenAI веб-сканерлерді не үшін пайдаланады?
Біз ChatGPT-ке жарнама ретінде жіберілген веб-беттердің қауіпсіздігін тексеру үшін сканерлерді пайдаланамыз. Жарнама жіберген кезде, OpenAI оның саясаттарымызға сай екенін тексеру үшін мақсатты бетке кіруі мүмкін. Сондай-ақ жарнаманы пайдаланушыларға қай кезде көрсету ең орынды екенін анықтау үшін мақсатты беттегі контентті пайдалануымыз мүмкін.
Қай OpenAI сканерлеріне рұқсат беру керек?
OAI-AdsBot қызметіне міндетті түрде рұқсат беруіңіз керек. OAI-AdsBot және OAI-SearchBot екеуіне де рұқсат беруді ұсынамыз.
OpenAI сканерлері менің веб-сайтымды сканерлей алмайды. Не істеуім керек?
Көптеген веб-сайттарда сканер веб-бетке сәтті қол жеткізгенге дейін бірнеше қорғаныс қабаты болады. OpenAI сканерлері төмендегі әр қабаттан өте алатынын тексеру үшін инженерлік немесе қауіпсіздік тобыңызбен жұмыс істеңіз.
1. robots.txt
robots.txt файлы сканерлерге веб-сайтыңыздың белгілі бір бөліктеріне кіруге рұқсат бар-жоғын хабарлайды. OpenAI сканерлері бұл ережелерді сақтайды. Егер robots.txt файлында қол жеткізуге тыйым салынса, сканерлеу бірден тоқтайды.
robots.txt конфигурацияңызды қарап шығып, OpenAI сканерлеріне тиісті беттер мен жолдарға қол жеткізуге анық рұқсат берілгенін растаңыз. Мысалы: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Веб-қорғау және боттарды тежеу
Көптеген веб-сайттар DDoS шабуылдарынан, скрейпингтен және рұқсатсыз трафиктен қорғану үшін Cloudflare, Akamai немесе басқа веб-қорғау провайдерлері сияқты қызметтерді пайдаланады. Бұл жүйелер заңды сканерлерді қате бұғаттап, жиі 403 Forbidden қателерін қайтаруы мүмкін. OpenAI сканерлері автоматтандырылған трафик үлгілеріне ұқсай алатындықтан, олар арнайы рұқсат тізіміне қосылмаса, оларға рұқсат берілмеуі мүмкін.
Веб-қорғау немесе firewall конфигурацияңызды қарап шығып, мүмкін болған жерде OpenAI сканер трафигін, дұрысы сканерлеріміздің user-agent идентификаторлары негізінде, рұқсат тізіміне қосыңыз. Инженерлік немесе инфрақұрылым тобыңыз жалған оң нәтижелер тудыруы мүмкін автоматтандырылған боттарды тежеу ережелерін де тексеруі керек.
3. Адам екенін растау және антибот логикасы
Кейбір веб-сайттар келушінің адам екенін тексеру үшін CAPTCHA, JavaScript сынақтары, мінез-құлықты талдау немесе сессияны растау сияқты қолданба деңгейіндегі қосымша тексерістерді енгізеді. OpenAI сканерлері автоматтандырылған жүйелер болғандықтан, сканер алдыңғы қабаттардан сәтті өтсе де, бұл тексерістер қол жеткізуді бұғаттауы мүмкін.
Қолданбаңызда енгізілген адам екенін растау немесе автоматтандыруға қарсы кез келген логиканы қарап шығып, қажет жерлерде OpenAI сканерлері босатылғанына көз жеткізіңіз; дұрысы — сканерлеріміздің user-agent идентификаторларын рұқсат тізіміне қосу.
Тұрақты IP ауқымдары туралы ескертпе
Кейбір қауіпсіздік жүйелері сканер трафигін сенімді түрде рұқсат тізіміне қоса алу үшін оның тұрақты әрі ашық құжатталған IP ауқымдарынан келуін талап етеді. Сканер инфрақұрылымы уақыт өте өзгеруі мүмкін болғандықтан, инженерлік тобыңыз журналдардағы қысқа мерзімді IP бақылауларына ғана сүйенбеуі керек. Оның орнына трафикті user-agent арқылы анықтау, қолдау көрсетілетін жерде расталған бот бағдарламалары, firewall рұқсат тізімдері, robots.txt әрекеті және провайдер деңгейіндегі боттарды тексеру жүйелерінің үйлесімі арқылы тексеріңіз.
Егер IP ауқымдарының тұрақты тізіміне рұқсат беру қажет болса, https://openai.com/searchbot.json және https://openai.com/adsbot.json файлдарын қараңыз.
Сұраныс шектеуі туралы ескертпе
Үлкен пакеттік жүктеп салулар немесе сканер трафигінің кенет өсуі кейде автоматтандырылған сұраныс шектеуін немесе боттан қорғау жүйелерін іске қосуы мүмкін.
Егер сұраныс шектеуі орын алып жатыр деп күдіктенсеңіз, инженерлік тобыңыздан HTTP жауап кодтарын, әсіресе 429 Too Many Requests кодын, firewall немесе CDN журналдарын, боттарды тежеу оқиғаларын, сұраныстарды баяулату ережелерін және сканер қол жеткізуге әрекеттенген уақыттағы трафик аналитикасын қарап шығуды сұраңыз. Бұл сұраныстардың инфрақұрылымдық қорғаныстар арқылы әдейі баяулатылып немесе бұғатталып жатқанын анықтауға көмектеседі.
Сондай-ақ жарнамаларды ұзағырақ уақыт аралығында шағын пакеттермен жүктеп салуды қарастыруыңызға болады.
Cloudflare туралы ескертпе
OAI-AdsBot ресми түрде расталған және Cloudflare рұқсат тізіміне қосылған.
Сканер және мақсатты бет туралы жиі қойылатын сұрақтар
Жарнаманы тексеру үшін қай сканер қажет?
ChatGPT Ads мақсатты бетін растау және тексеру үшін OAI-AdsBot қажет. OAI-SearchBot ұсынылады, себебі ол OpenAI-ға ашық веб-контентті түсінуге көмектесуі мүмкін, бірақ жарнама берушілер жарнамалардың дайын болуы үшін OAI-AdsBot сканеріне басымдық беруі керек.
Қолдау қызметі сканер арқылы тексеруді қолмен айналып өте ала ма?
Қолмен айналып өтуге сенім артпаңыз. robots.txt, WAF, CDN, боттарды тежеу, аутентификация және сұраныс шектеуі бұғаттарын түзету арқылы мақсатты бетті OAI-AdsBot үшін сканерленетін етіңіз. Мақсатты бет қолжетімді болғаннан кейін жарнамаларды қайта жүктеп салу немесе тексеруге қайта жіберу қажет болуы мүмкін.
Инженерлік тобым алдымен нені тексеруі керек?
Мақсатты бет OAI-AdsBot үшін сәтті HTTP жауабын қайтаратынын, robots.txt тиісті жолға рұқсат беретінін және WAF, CDN, боттарды тежеу, JavaScript сынақтары, CAPTCHA, аутентификация немесе геоережелер автоматтандырылған қол жеткізуді бұғаттамайтынын тексеріңіз.
Қолданба дүкені сілтемелерін, deep link сілтемелерін немесе веб емес бағыттарды мақсатты бет ретінде пайдалануға бола ма?
Мүмкіндігінше тікелей қолжетімді веб мақсатты бетті пайдаланыңыз. Қолданба дүкені сілтемелері, deep link сілтемелері, құжаттар немесе қолданбаны, кіруді, аймаққа тән қол жеткізуді не қолдау көрсетілмейтін қайта бағыттауларды талап ететін бағыттар растау немесе тексеру үшін жеткілікті сканерленетін контент бермеуі мүмкін.
Қай кезде қайта жүктеп салу немесе қайтадан тексеруді сұрау керек?
Сканер қол жеткізуін түзеткеннен кейін, статус өздігінен жаңармаса, әсер еткен жарнамаларды қайта жүктеп салыңыз немесе қайта жіберіңіз. Жаппай жүктеп салынған жарнамалар үшін, тобыңыз түзетуді тексеріп жатқанда, шағын пакеттер сұраныс шектеуінің немесе боттан қорғаудың іске қосылу ықтималдығын азайта алады.