Per què OpenAI utilitza rastrejadors web?
Utilitzem rastrejadors per validar la seguretat de les pàgines web enviades com a anuncis a ChatGPT. Quan envieu un anunci, OpenAI pot visitar-ne la pàgina de destinació per assegurar-se que compleix les nostres polítiques. També podem utilitzar el contingut de la pàgina de destinació per determinar quan és més pertinent mostrar l'anunci als usuaris.
Quins rastrejadors d'OpenAI heu de permetre?
Heu de permetre OAI-AdsBot. Recomanem permetre tant OAI-AdsBot com OAI-SearchBot.
Per als canals de productes, permeteu també que OAI-SearchBot rastregi els URL de les imatges dels productes. Comproveu les regles del tallafoc, la CDN i la protecció contra bots de l'amfitrió de les imatges; una resposta 403 pot bloquejar el processament del canal.
Els rastrejadors d'OpenAI no poden rastrejar el meu lloc web. Què he de fer?
La majoria de llocs web tenen diverses capes de protecció que un rastrejador ha de superar per poder accedir correctament a una pàgina web. Col·laboreu amb el vostre equip d'enginyeria o seguretat per comprovar que els rastrejadors d'OpenAI poden superar cadascuna de les capes següents.
1. robots.txt
El fitxer robots.txt indica als rastrejadors si tenen permís per accedir a determinades parts del vostre lloc web. Els rastrejadors d'OpenAI respecten aquestes regles. Si robots.txt denega l'accés, el rastreig s'aturarà immediatament.
Reviseu la configuració de robots.txt i confirmeu que els rastrejadors d'OpenAI tenen permís explícit per accedir a les pàgines i rutes pertinents. Per exemple: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protecció web i mitigació de bots
Molts llocs web utilitzen serveis com Cloudflare, Akamai o altres proveïdors de protecció web per defensar-se d'atacs DDoS, l'extracció de dades i el trànsit no autoritzat. Aquests sistemes poden bloquejar per error rastrejadors legítims i sovint retornen errors 403 Forbidden. Com que els rastrejadors d'OpenAI poden assemblar-se a patrons de trànsit automatitzat, se'ls pot denegar l'accés si no s'inclouen expressament en una llista de permesos.
Reviseu la configuració de la protecció web o del tallafoc i, quan sigui possible, afegiu el trànsit dels rastrejadors d'OpenAI a la llista de permesos, preferiblement a partir dels nostres agents d'usuari de rastrejadors. El vostre equip d'enginyeria o d'infraestructura també ha de revisar les regles automatitzades de mitigació de bots que puguin generar falsos positius.
3. Verificació humana i lògica antibots
Alguns llocs web implementen comprovacions addicionals a escala d'aplicació per verificar que un visitant és humà, com ara CAPTCHA, reptes de JavaScript, anàlisis del comportament o validacions de sessió. Com que els rastrejadors d'OpenAI són sistemes automatitzats, aquestes comprovacions poden bloquejar-ne l'accés encara que hagin superat correctament les capes anteriors.
Reviseu qualsevol lògica de verificació humana o contra l'automatització implementada a la vostra aplicació i assegureu-vos que els rastrejadors d'OpenAI en quedin exempts quan correspongui, preferiblement afegint els seus agents d'usuari a la llista de permesos.
Nota sobre els intervals d'IP estables
Alguns sistemes de seguretat exigeixen que el trànsit dels rastrejadors provingui d'intervals d'IP estables i documentats públicament per poder-lo afegir de manera fiable a una llista de permesos. Com que la infraestructura dels rastrejadors pot evolucionar amb el temps, el vostre equip d'enginyeria ha d'evitar dependre únicament d'observacions d'IP a curt termini extretes dels registres. En lloc d'això, valideu el trànsit combinant la identificació de l'agent d'usuari, els programes de bots verificats quan siguin compatibles, les llistes de permesos del tallafoc, el comportament de robots.txt i els sistemes de verificació de bots del proveïdor.
Si heu de permetre una llista estable d'intervals d'IP, consulteu https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Nota sobre la limitació de la freqüència
Les pujades de lots grans o els augments sobtats del trànsit dels rastrejadors de vegades poden activar sistemes automatitzats de limitació de la freqüència o de protecció contra bots.
Si sospiteu que s'està aplicant una limitació de la freqüència, demaneu al vostre equip d'enginyeria que revisi els codis de resposta HTTP, especialment 429 Too Many Requests, els registres del tallafoc o la CDN, els esdeveniments de mitigació de bots, les regles de limitació de sol·licituds i les analítiques de trànsit del moment en què el rastrejador va intentar accedir-hi. Això pot ajudar a determinar si les proteccions de la infraestructura alenteixen o bloquegen les sol·licituds de manera intencionada.
També podeu plantejar-vos pujar els anuncis en lots més petits durant un període més llarg.
Nota sobre Cloudflare
Cloudflare ha verificat oficialment OAI-AdsBot i l'ha inclòs a la seva llista de permesos.
Preguntes freqüents sobre els rastrejadors i les pàgines de destinació
Quin rastrejador és necessari per revisar els anuncis?
OAI-AdsBot és necessari per validar i revisar les pàgines de destinació de ChatGPT Ads. Es recomana OAI-SearchBot perquè pot ajudar OpenAI a entendre el contingut web públic, però OAI-AdsBot és el rastrejador que els anunciants han de prioritzar per preparar els anuncis.
El servei d'assistència pot ometre manualment la validació del rastrejador?
No depengueu d'una omissió manual. Feu que OAI-AdsBot pugui rastrejar la pàgina de destinació corregint els bloquejos de robots.txt, WAF, CDN, mitigació de bots, autenticació i limitació de la freqüència. Pot ser necessari tornar a pujar o enviar a revisió els anuncis després que la pàgina de destinació sigui accessible.
Què ha de comprovar primer el meu equip d'enginyeria?
Comproveu si la pàgina de destinació retorna una resposta HTTP correcta a OAI-AdsBot, si robots.txt permet la ruta pertinent i si el WAF, la CDN, la mitigació de bots, els reptes de JavaScript, els CAPTCHA, l'autenticació o les regles geogràfiques bloquegen l'accés automatitzat.
S'admeten com a pàgines de destinació els enllaços a botigues d'aplicacions, els enllaços profunds o les destinacions que no són web?
Sempre que sigui possible, utilitzeu una pàgina de destinació web directament accessible. És possible que els enllaços a botigues d'aplicacions, els enllaços profunds, els documents o les destinacions que requereixen una aplicació, iniciar sessió, un accés restringit a una regió o redireccions no compatibles no proporcionin prou contingut rastrejable per validar-los o revisar-los.
Quan he de tornar a pujar els anuncis o sol·licitar-ne una nova revisió?
Després de corregir l'accés del rastrejador, torneu a pujar o enviar els anuncis afectats si l'estat no s'actualitza automàticament. En el cas d'anuncis pujats en bloc, els lots més petits poden reduir l'activació dels límits de freqüència o de la protecció contra bots mentre el vostre equip valida la correcció.