Bakit gumagamit ang OpenAI ng mga web crawler?
Gumagamit kami ng mga crawler para beripikahin ang kaligtasan ng mga web page na isinusumite bilang mga ad sa ChatGPT. Kapag nagsumite ka ng ad, maaaring bisitahin ng OpenAI ang landing page para tiyaking sumusunod ito sa aming mga patakaran. Maaari rin naming gamitin ang content mula sa landing page para matukoy kung kailan ito pinakanauugnay na ipakita sa mga user.
Aling mga crawler ng OpenAI ang dapat mong payagan?
Dapat mong payagan ang OAI-AdsBot. Inirerekomenda naming payagan ang parehong OAI-AdsBot at OAI-SearchBot.
Hindi ma-crawl ng mga crawler ng OpenAI ang website ko. Ano ang dapat kong gawin?
Karamihan sa mga website ay may maraming layer ng proteksyon bago matagumpay na ma-access ng crawler ang isang webpage. Makipagtulungan sa iyong engineering o security team para beripikahing makakalusot ang mga crawler ng OpenAI sa bawat sumusunod na layer.
1. robots.txt
Sinasabi ng robots.txt file sa mga crawler kung pinapayagan silang i-access ang ilang bahagi ng iyong website. Sinusunod ng mga crawler ng OpenAI ang mga panuntunang ito. Kung hindi pinapayagan ang access sa robots.txt, agad na titigil ang pag-crawl.
Suriin ang configuration ng iyong robots.txt at tiyaking malinaw na pinapayagan ang mga crawler ng OpenAI na i-access ang mga nauugnay na page at path. Halimbawa: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Proteksyon sa web at bot mitigation
Maraming website ang gumagamit ng mga serbisyo tulad ng Cloudflare, Akamai, o iba pang web protection provider para depensahan laban sa mga DDoS attack, scraping, at hindi awtorisadong traffic. Maaaring aksidenteng i-block ng mga system na ito ang mga lehitimong crawler, kadalasan ay nagbabalik ng mga 403 Forbidden error. Dahil maaaring magmukhang automated traffic pattern ang mga crawler ng OpenAI, maaari silang tanggihan maliban kung partikular silang nasa allowlist.
Suriin ang configuration ng iyong web protection o firewall at i-allowlist ang crawler traffic ng OpenAI kung posible, mainam kung batay sa aming mga crawler user agent. Dapat ding suriin ng iyong engineering o infrastructure team ang anumang automated bot mitigation rule na maaaring nagti-trigger ng mga false positive.
3. Human verification at anti-bot logic
May ilang website na nagpapatupad ng karagdagang application-level checks para beripikahing tao ang visitor, gaya ng mga CAPTCHA, JavaScript challenge, behavioral analysis, o session validation. Dahil automated systems ang mga crawler ng OpenAI, maaaring i-block ng mga check na ito ang access kahit matagumpay na nakalusot ang crawler sa mga naunang layer.
Suriin ang anumang human-verification o anti-automation logic na ipinatupad sa iyong application at tiyaking exempted ang mga crawler ng OpenAI kung naaangkop, mainam kung sa pamamagitan ng pag-allowlist sa aming mga crawler user agent.
Tala tungkol sa mga stable na IP range
May ilang security system na nangangailangang magmula ang crawler traffic sa mga stable at pampublikong dokumentadong IP range bago ito maaasahang mailagay sa allowlist. Dahil maaaring magbago sa paglipas ng panahon ang crawler infrastructure, dapat iwasan ng iyong engineering team na umasa lamang sa mga panandaliang IP observation mula sa mga log. Sa halip, beripikahin ang traffic sa pamamagitan ng kombinasyon ng user-agent identification, verified bot programs kung sinusuportahan, firewall allowlists, robots.txt behavior, at provider-level bot verification systems.
Kung kailangan mong payagan ang isang stable na listahan ng mga IP range, sumangguni sa https://openai.com/searchbot.json at https://openai.com/adsbot.json.
Tala tungkol sa rate limit
Ang malalaking batch upload o biglaang pagtaas ng crawler traffic ay minsang maaaring mag-trigger ng automated rate limit o bot protection systems.
Kung pinaghihinalaan mong may ipinapatupad na rate limit, hilingin sa iyong engineering team na suriin ang mga HTTP response code, lalo na ang 429 Too Many Requests, mga firewall o CDN log, bot mitigation event, request throttling rule, at traffic analytics sa oras na sinubukang mag-access ng crawler. Makakatulong ito na matukoy kung sinasadyang pinapabagal o bina-block ng mga infrastructure protection ang mga request.
Maaari mo ring isaalang-alang ang pag-upload ng mga ad sa mas mahabang panahon sa mas maliliit na batch.
Tala tungkol sa Cloudflare
Opisyal na verified at nasa allowlist ng Cloudflare ang OAI-AdsBot.
FAQ tungkol sa crawler at landing page
Aling crawler ang kailangan para sa pagsusuri ng mga ad?
Kailangan ang OAI-AdsBot para sa validation at pagsusuri ng landing page ng ChatGPT Ads. Inirerekomenda ang OAI-SearchBot dahil maaari nitong tulungan ang OpenAI na maunawaan ang pampublikong web content, pero OAI-AdsBot ang crawler na dapat unahin ng mga advertiser para sa ads readiness.
Maaari bang manu-manong i-bypass ng support ang crawler validation?
Huwag umasa sa manual bypass. Gawing crawlable para sa OAI-AdsBot ang landing page sa pamamagitan ng pag-aayos ng mga block sa robots.txt, WAF, CDN, bot mitigation, authentication, at rate limit. Maaaring kailangang i-upload muli o muling isumite para sa pagsusuri ang mga ad pagkatapos maging accessible ang landing page.
Ano ang dapat unang tingnan ng aking engineering team?
Tingnan kung nagbabalik ang landing page ng matagumpay na HTTP response sa OAI-AdsBot, kung pinapayagan ng robots.txt ang nauugnay na path, at kung bina-block ng WAF, CDN, bot mitigation, JavaScript challenges, CAPTCHAs, authentication, o geo rules ang automated access.
Sinusuportahan ba ang mga app-store link, deep link, o non-web destination bilang mga landing page?
Gumamit ng direktang naaabot na web landing page hangga’t maaari. Ang mga app-store link, deep link, dokumento, o destination na nangangailangan ng app, login, access na partikular sa rehiyon, o hindi sinusuportahang redirect ay maaaring hindi magbigay ng sapat na crawlable content para sa validation o pagsusuri.
Kailan ako dapat mag-upload muli o muling humiling ng review?
Pagkatapos ayusin ang crawler access, i-upload muli o muling isumite ang mga apektadong ad kung hindi kusang mag-a-update ang status. Para sa mga ad na na-upload nang maramihan, makakatulong ang mas maliliit na batch na bawasan ang mga trigger ng rate limit o bot protection habang bine-verify ng iyong team ang pag-aayos.