¿Por qué OpenAI usa rastreadores web?
Usamos rastreadores para validar la seguridad de las páginas web enviadas como anuncios en ChatGPT. Cuando envíes un anuncio, OpenAI podría visitar la página de destino para asegurarse de que cumpla con nuestras políticas. También podríamos usar contenido de la página de destino para determinar cuándo es más relevante mostrarles el anuncio a los usuarios.
¿Qué rastreadores de OpenAI deberías permitir?
Debes permitir OAI-AdsBot. Recomendamos permitir tanto OAI-AdsBot como OAI-SearchBot.
Los rastreadores de OpenAI no pueden rastrear mi sitio web. ¿Qué debo hacer?
La mayoría de los sitios web tienen varias capas de protección antes de que un rastreador pueda acceder correctamente a una página web. Trabaja con tu equipo de ingeniería o seguridad para validar que los rastreadores de OpenAI puedan atravesar cada una de las siguientes capas.
1. robots.txt
El archivo robots.txt les indica a los rastreadores si tienen permitido acceder a ciertas partes de tu sitio web. Los rastreadores de OpenAI respetan estas reglas. Si no se permite el acceso en robots.txt, el rastreo se detendrá inmediatamente.
Revisa la configuración de robots.txt y confirma que los rastreadores de OpenAI tengan permiso explícito para acceder a las páginas y rutas relevantes. Por ejemplo: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protección web y mitigación de bots
Muchos sitios web usan servicios como Cloudflare, Akamai u otros proveedores de protección web para defenderse de ataques DDoS, scraping y tráfico no autorizado. Estos sistemas pueden bloquear por error rastreadores legítimos, a menudo devolviendo errores 403 Forbidden. Como los rastreadores de OpenAI pueden asemejarse a patrones de tráfico automatizado, es posible que se les deniegue el acceso a menos que se incluyan específicamente en una lista de permitidos.
Revisa la configuración de protección web o del firewall e incluye en la lista de permitidos el tráfico de rastreadores de OpenAI cuando sea posible, idealmente basado en nuestros agentes de usuario de rastreadores. Tu equipo de ingeniería o infraestructura también debería revisar cualquier regla automatizada de mitigación de bots que pudiera estar generando falsos positivos.
3. Verificación humana y lógica antibot
Algunos sitios web implementan comprobaciones adicionales a nivel de aplicación para verificar que un visitante sea humano, como CAPTCHA, desafíos de JavaScript, análisis de comportamiento o validación de sesión. Como los rastreadores de OpenAI son sistemas automatizados, estas comprobaciones pueden bloquear el acceso incluso si el rastreador supera correctamente las capas anteriores.
Revisa cualquier lógica de verificación humana o antiautomatización implementada en tu aplicación y asegúrate de que los rastreadores de OpenAI estén excluidos cuando corresponda, idealmente permitiendo en la lista blanca a nuestros agentes de usuario de los rastreadores.
Nota sobre rangos de IP estables
Algunos sistemas de seguridad requieren que el tráfico de rastreadores provenga de rangos de IP estables y documentados públicamente antes de que el tráfico pueda incluirse de forma confiable en una lista de permitidos. Como la infraestructura de rastreadores puede evolucionar con el tiempo, tu equipo de ingeniería debe evitar depender únicamente de observaciones de IP a corto plazo provenientes de los registros. En su lugar, valida el tráfico mediante una combinación de identificación de agente de usuario, programas de bots verificados cuando sean compatibles, listas de permitidos del firewall, comportamiento de robots.txt y sistemas de verificación de bots a nivel de proveedor.
Si debes permitir una lista estable de rangos de IP, consulta https://openai.com/searchbot.json y https://openai.com/adsbot.json.
Nota sobre la limitación de tasa
Las cargas por lotes grandes o los aumentos repentinos en el tráfico de rastreadores a veces pueden activar sistemas automáticos de limitación de tasa o de protección contra bots.
Si sospechas que se está produciendo una limitación de solicitudes, pide a tu equipo de ingeniería que revise los códigos de respuesta HTTP, especialmente 429 Too Many Requests, los registros del firewall o la CDN, los eventos de mitigación de bots, las reglas de limitación de solicitudes y los análisis de tráfico alrededor del momento en que el rastreador intentó acceder. Esto puede ayudar a identificar si las solicitudes se están ralentizando o bloqueando intencionalmente debido a protecciones de infraestructura.
También puedes plantearte publicar los anuncios a lo largo de un periodo de tiempo más prolongado, en lotes más pequeños.
Una nota sobre Cloudflare
OAI-AdsBot está verificado oficialmente e incluido en la lista blanca por Cloudflare.
Preguntas frecuentes sobre el rastreador y la página de destino
¿Qué rastreador se requiere para la revisión de anuncios?
OAI-AdsBot es necesario para la validación y revisión de la página de destino de ChatGPT Ads. Se recomienda OAI-SearchBot, porque puede ayudar a OpenAI a comprender el contenido web público, pero OAI-AdsBot es el rastreador que los anunciantes deberían priorizar para la preparación de anuncios.
¿Se puede omitir manualmente la validación del rastreador?
No dependas de un bypass manual. Haz que la página de destino sea rastreable para OAI-AdsBot corrigiendo robots.txt, Bloqueos de WAF, CDN, mitigación de bots, autenticación y limitación de solicitudes. Es posible que los anuncios deban volver a cargarse o enviarse a revisión después de que la página de destino sea accesible.
¿Qué debería revisar primero mi equipo de ingeniería?
Verifica si la página de destino devuelve una respuesta HTTP satisfactoria a OAI-AdsBot, si robots.txt permite la ruta correspondiente y si WAF, CDN, la mitigación de bots, los desafíos de JavaScript, los CAPTCHAs, la autenticación o las reglas geográficas bloquean el acceso automatizado.
¿Se admiten enlaces a tiendas de aplicaciones, enlaces profundos o destinos que no son web como páginas de destino?
Usa una página de destino web accesible directamente siempre que sea posible. Los enlaces a tiendas de aplicaciones, enlaces profundos, documentos o destinos que requieran una aplicación, inicio de sesión, acceso específico por región o redireccionamientos no compatibles podrían no proporcionar suficiente contenido rastreable para la validación o revisión.
¿Cuándo debo volver a subir o solicitar una revisión?
Después de corregir el acceso del rastreador, vuelve a subir o a enviar los anuncios afectados si el estado no se actualiza por sí solo. Para los anuncios cargados de forma masiva, los lotes más pequeños pueden reducir la activación del límite de solicitudes o de la protección contra bots mientras tu equipo valida la corrección.