Per què OpenAI fa servir rastrejadors web?
Fem servir rastrejadors per validar la seguretat de les pàgines web enviades com a anuncis a ChatGPT. Quan envieu un anunci, OpenAI pot visitar la pàgina de destinació per assegurar-se que compleixi les nostres polítiques. També podem fer servir contingut de la pàgina de destinació per determinar quan és més rellevant mostrar l’anunci als usuaris.
Quins rastrejadors d’OpenAI heu de permetre?
Heu de permetre OAI-AdsBot. Recomanem permetre tant OAI-AdsBot com OAI-SearchBot.
Els rastrejadors d’OpenAI no poden rastrejar el meu lloc web. Què he de fer?
La majoria de llocs web tenen diverses capes de protecció abans que un rastrejador pugui accedir correctament a una pàgina web. Treballeu amb el vostre equip d’enginyeria o de seguretat per validar que els rastrejadors d’OpenAI poden passar per cadascuna de les capes següents.
1. robots.txt
El fitxer robots.txt indica als rastrejadors si tenen permís per accedir a determinades parts del vostre lloc web. Els rastrejadors d’OpenAI respecten aquestes regles. Si l’accés està prohibit a robots.txt, el rastreig s’aturarà immediatament.
Reviseu la configuració de robots.txt i confirmeu que els rastrejadors d’OpenAI tenen permís explícit per accedir a les pàgines i rutes rellevants. Per exemple: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protecció web i mitigació de bots
Molts llocs web fan servir serveis com Cloudflare, Akamai o altres proveïdors de protecció web per defensar-se d’atacs DDoS, scraping i trànsit no autoritzat. Aquests sistemes poden bloquejar per error rastrejadors legítims, sovint retornant errors 403 Forbidden. Com que els rastrejadors d’OpenAI poden assemblar-se a patrons de trànsit automatitzat, se’ls pot denegar l’accés si no s’inclouen específicament a la llista de permesos.
Reviseu la configuració de la protecció web o del tallafoc i, quan sigui possible, incloeu el trànsit dels rastrejadors d’OpenAI a la llista de permesos, idealment en funció dels nostres user agents de rastrejador. El vostre equip d’enginyeria o d’infraestructura també hauria d’inspeccionar qualsevol regla automatitzada de mitigació de bots que pugui generar falsos positius.
3. Verificació humana i lògica antibot
Alguns llocs web implementen comprovacions addicionals a nivell d’aplicació per verificar que un visitant és humà, com ara CAPTCHAs, reptes de JavaScript, anàlisi del comportament o validació de la sessió. Com que els rastrejadors d’OpenAI són sistemes automatitzats, aquestes comprovacions poden bloquejar-ne l’accés encara que el rastrejador hagi superat correctament les capes anteriors.
Reviseu qualsevol lògica de verificació humana o antiautomatització implementada a la vostra aplicació i assegureu-vos que els rastrejadors d’OpenAI en quedin exempts quan sigui apropiat, idealment incloent els nostres user agents de rastrejador a la llista de permesos.
Nota sobre els intervals d’IP estables
Alguns sistemes de seguretat requereixen que el trànsit dels rastrejadors provingui d’intervals d’IP estables i documentats públicament abans de poder incloure’l de manera fiable a la llista de permesos. Com que la infraestructura de rastreig pot evolucionar amb el temps, el vostre equip d’enginyeria hauria d’evitar basar-se només en observacions d’IP a curt termini dels registres. En lloc d’això, valideu el trànsit combinant la identificació de user-agent, els programes de bots verificats quan siguin compatibles, les llistes de permesos del tallafoc, el comportament de robots.txt i els sistemes de verificació de bots a nivell de proveïdor.
Si heu de permetre una llista estable d’intervals d’IP, consulteu https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Nota sobre el límit de peticions
Les càrregues massives grans o els pics sobtats de trànsit de rastrejadors de vegades poden activar sistemes automatitzats de límit de peticions o de protecció contra bots.
Si sospiteu que s’està aplicant un límit de peticions, demaneu al vostre equip d’enginyeria que revisi els codis de resposta HTTP, especialment 429 Too Many Requests, els registres del tallafoc o de la CDN, els esdeveniments de mitigació de bots, les regles de limitació de sol·licituds i les analítiques de trànsit al voltant del moment en què el rastrejador va intentar accedir-hi. Això pot ajudar a determinar si les sol·licituds s’estan alentint o bloquejant intencionadament mitjançant proteccions d’infraestructura.
També podeu plantejar-vos carregar els anuncis durant un període més llarg en lots més petits.
Nota sobre Cloudflare
OAI-AdsBot està verificat oficialment i inclòs a la llista de permesos de Cloudflare.
Preguntes freqüents sobre rastrejadors i pàgines de destinació
Quin rastrejador és necessari per revisar anuncis?
OAI-AdsBot és necessari per validar i revisar les pàgines de destinació de ChatGPT Ads. OAI-SearchBot és recomanable perquè pot ajudar OpenAI a entendre el contingut web públic, però OAI-AdsBot és el rastrejador que els anunciants haurien de prioritzar per preparar els anuncis.
El suport pot eludir manualment la validació del rastrejador?
No confieu en una elusió manual. Feu que OAI-AdsBot pugui rastrejar la pàgina de destinació corregint els bloquejos de robots.txt, WAF, CDN, mitigació de bots, autenticació i límit de peticions. És possible que calgui tornar a carregar o reenviar els anuncis a revisió després que la pàgina de destinació esdevingui accessible.
Què hauria de comprovar primer el meu equip d’enginyeria?
Comproveu si la pàgina de destinació retorna una resposta HTTP correcta a OAI-AdsBot, si robots.txt permet la ruta rellevant i si WAF, CDN, la mitigació de bots, els reptes de JavaScript, els CAPTCHAs, l’autenticació o les regles geogràfiques bloquegen l’accés automatitzat.
S’admeten enllaços a botigues d’aplicacions, deep links o destinacions que no siguin web com a pàgines de destinació?
Feu servir una pàgina de destinació web directament accessible sempre que sigui possible. Els enllaços a botigues d’aplicacions, els deep links, els documents o les destinacions que requereixen una aplicació, inici de sessió, accés específic per regió o redireccions no compatibles poden no oferir prou contingut rastrejable per a la validació o la revisió.
Quan he de tornar a carregar l’anunci o sol·licitar-ne una altra revisió?
Després de corregir l’accés del rastrejador, torneu a carregar o reenviar els anuncis afectats si l’estat no s’actualitza per si sol. En el cas dels anuncis carregats en bloc, els lots més petits poden reduir els activadors de límit de peticions o de protecció contra bots mentre el vostre equip valida la correcció.