¿Por qué utiliza OpenAI rastreadores web?
Utilizamos rastreadores para comprobar la seguridad de las páginas web enviadas como anuncios en ChatGPT. Cuando envías un anuncio, OpenAI puede visitar la página de destino para comprobar que cumple nuestras políticas. También podemos utilizar el contenido de la página de destino para determinar cuándo resulta más pertinente mostrar el anuncio a los usuarios.
¿Qué rastreadores de OpenAI debes permitir?
Debes permitir OAI-AdsBot. Recomendamos permitir tanto OAI-AdsBot como OAI-SearchBot.
Para los feeds de productos, permite también que OAI-SearchBot rastree las URL de las imágenes de los productos. Comprueba las reglas del cortafuegos, la CDN y la protección contra bots del servidor de imágenes; una respuesta 403 puede impedir que se procese el feed.
Los rastreadores de OpenAI no pueden rastrear mi sitio web. ¿Qué debo hacer?
La mayoría de los sitios web tienen varias capas de protección que un rastreador debe superar para acceder correctamente a una página web. Colabora con tu equipo de ingeniería o seguridad para comprobar que los rastreadores de OpenAI puedan atravesar cada una de las capas siguientes.
1. robots.txt
El archivo robots.txt indica a los rastreadores si tienen permiso para acceder a determinadas partes de tu sitio web. Los rastreadores de OpenAI respetan estas reglas. Si robots.txt impide el acceso, el rastreo se detendrá de inmediato.
Revisa la configuración de robots.txt y confirma que los rastreadores de OpenAI tengan permiso explícito para acceder a las páginas y rutas pertinentes. Por ejemplo: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protección web y mitigación de bots
Muchos sitios web utilizan servicios como Cloudflare, Akamai u otros proveedores de protección web para defenderse de ataques DDoS, la extracción de datos y el tráfico no autorizado. Estos sistemas pueden bloquear por error rastreadores legítimos y suelen devolver errores 403 Forbidden. Como los rastreadores de OpenAI pueden presentar patrones similares a los del tráfico automatizado, quizá se les deniegue el acceso si no se incluyen expresamente en una lista de permitidos.
Revisa la configuración de la protección web o del cortafuegos e incluye el tráfico de los rastreadores de OpenAI en la lista de permitidos cuando sea posible, preferiblemente según sus agentes de usuario. Tu equipo de ingeniería o infraestructura también debe revisar cualquier regla automatizada de mitigación de bots que pueda estar generando falsos positivos.
3. Verificación humana y lógica antibots
Algunos sitios web aplican comprobaciones adicionales en la aplicación para verificar que el visitante sea humano, como CAPTCHA, pruebas de JavaScript, análisis de comportamiento o validación de sesiones. Como los rastreadores de OpenAI son sistemas automatizados, estas comprobaciones pueden bloquear el acceso aunque el rastreador haya superado correctamente las capas anteriores.
Revisa cualquier lógica de verificación humana o contra la automatización implementada en tu aplicación y asegúrate de que los rastreadores de OpenAI estén exentos cuando corresponda, preferiblemente incluyendo sus agentes de usuario en una lista de permitidos.
Nota sobre los intervalos de IP estables
Algunos sistemas de seguridad exigen que el tráfico de los rastreadores proceda de intervalos de IP estables y documentados públicamente para poder incluirlo de forma fiable en una lista de permitidos. Como la infraestructura de los rastreadores puede evolucionar con el tiempo, tu equipo de ingeniería no debe depender únicamente de observaciones de IP a corto plazo extraídas de los registros. En su lugar, valida el tráfico combinando la identificación del agente de usuario, los programas de bots verificados cuando sean compatibles, las listas de permitidos del cortafuegos, el comportamiento de robots.txt y los sistemas de verificación de bots del proveedor.
Si necesitas permitir una lista estable de intervalos de IP, consulta https://openai.com/searchbot.json y https://openai.com/adsbot.json.
Nota sobre la limitación de solicitudes
Las cargas de grandes lotes o los aumentos repentinos del tráfico de los rastreadores pueden activar en ocasiones la limitación automática de solicitudes o los sistemas de protección contra bots.
Si sospechas que se están limitando las solicitudes, pide a tu equipo de ingeniería que revise los códigos de respuesta HTTP, en especial 429 Too Many Requests, los registros del cortafuegos o la CDN, los eventos de mitigación de bots, las reglas de limitación de solicitudes y los análisis del tráfico en torno al momento en que el rastreador intentó acceder. Esto puede ayudar a determinar si las protecciones de la infraestructura están ralentizando o bloqueando las solicitudes de forma intencionada.
También puedes plantearte cargar los anuncios en lotes más pequeños durante un periodo más largo.
Nota sobre Cloudflare
OAI-AdsBot está verificado oficialmente e incluido en la lista de permitidos de Cloudflare.
Preguntas frecuentes sobre los rastreadores y las páginas de destino
¿Qué rastreador se necesita para revisar los anuncios?
OAI-AdsBot es necesario para validar y revisar las páginas de destino de ChatGPT Anuncios. Se recomienda OAI-SearchBot porque puede ayudar a OpenAI a comprender el contenido web público, pero OAI-AdsBot es el rastreador que los anunciantes deben priorizar para preparar sus anuncios.
¿Puede el equipo de soporte omitir manualmente la validación del rastreador?
No dependas de una omisión manual. Permite que OAI-AdsBot rastree la página de destino corrigiendo los bloqueos de robots.txt, el WAF, la CDN, la mitigación de bots, la autenticación y la limitación de solicitudes. Quizá sea necesario volver a cargar o enviar a revisión los anuncios después de que la página de destino pase a ser accesible.
¿Qué debe comprobar primero mi equipo de ingeniería?
Comprueba si la página de destino devuelve una respuesta HTTP correcta a OAI-AdsBot, si robots.txt permite la ruta pertinente y si el WAF, la CDN, la mitigación de bots, las pruebas de JavaScript, los CAPTCHA, la autenticación o las reglas geográficas bloquean el acceso automatizado.
¿Se admiten como páginas de destino los enlaces a tiendas de aplicaciones, los enlaces profundos o los destinos que no son páginas web?
Siempre que sea posible, utiliza una página web de destino a la que se pueda acceder directamente. Es posible que los enlaces a tiendas de aplicaciones, los enlaces profundos, los documentos o los destinos que requieran una aplicación, iniciar sesión, acceso específico de una región o redirecciones no compatibles no ofrezcan suficiente contenido rastreable para su validación o revisión.
¿Cuándo debo volver a cargar el anuncio o solicitar otra revisión?
Después de corregir el acceso del rastreador, vuelve a cargar o enviar los anuncios afectados si su estado no se actualiza automáticamente. En el caso de los anuncios cargados en bloque, usar lotes más pequeños puede reducir la activación de límites de solicitudes o protecciones contra bots mientras tu equipo valida la solución.