¿Por qué OpenAI usa rastreadores web?
Usamos rastreadores para validar la seguridad de las páginas web enviadas como anuncios en ChatGPT. Cuando envíes un anuncio, OpenAI podría visitar la página de destino para asegurarse de que cumpla con nuestras políticas. También podríamos usar contenido de la página de destino para determinar cuándo es más relevante mostrarles el anuncio a los usuarios.
¿Qué rastreadores de OpenAI deberías permitir?
Debes permitir OAI-AdsBot. Recomendamos permitir tanto OAI-AdsBot como OAI-SearchBot.
En el caso de los feeds de productos, permite también que OAI-SearchBot rastree las URL de las imágenes de los productos. Revisa las reglas de firewall, CDN y protección contra bots en el host de las imágenes; una respuesta 403 puede bloquear el procesamiento de los feeds.
Comprueba que OpenAI pueda acceder a la página de destino de tu anuncio
Antes de enviar anuncios, o después de cambiar tu sitio web, usa estas comprobaciones para ayudar a prevenir problemas comunes con los rastreadores. Si otra persona administra tu sitio web, comparte esta lista de verificación con tu desarrollador web, proveedor de alojamiento o equipo de seguridad.
1. Verifica el enlace exacto que se usó en tu anuncio
Abre la URL completa del anuncio, incluidos los parámetros de seguimiento. Sigue las redirecciones y confirma que la página final muestre el producto o servicio que anuncias.
Si usas un enlace de seguimiento, comprueba a dónde lleva a las personas en distintos dispositivos o ubicaciones. Que la página de inicio funcione no significa que funcione el enlace de tu anuncio.
2. Permite que los rastreadores pertinentes de OpenAI accedan
Permite OAI-AdsBot, que es necesario para validar la página de destino de los anuncios. También recomendamos permitir OAI-SearchBot.
Pídele al equipo de tu sitio web que revise las reglas de robots.txt de la página de destino y los recursos necesarios. Revisa cada host que intervenga en una redirección, incluidos los subdominios y los destinos de terceros.
Usa la documentación actual del rastreador de OpenAI y los rangos de IP publicados de OAI-AdsBot y OAI-SearchBot al configurar el acceso.
3. Revisa la configuración de seguridad de tu sitio web
Una regla de robots.txt por sí sola puede no ser suficiente. Tu firewall, red de distribución de contenido (CDN) o servicio de protección contra bots pueden aplicar restricciones por separado.
Pídele al equipo encargado del sitio web o de seguridad que confirme que las solicitudes verificadas del rastreador de OpenAI puedan acceder a la página de destino y al contenido necesario sin iniciar sesión, completar un CAPTCHA ni superar un desafío del navegador. Comprueba también el host de destino, además del dominio inicial.
Si se deniega el acceso, usa la hora y el ID de la solicitud fallida, cuando estén disponibles, para encontrar el evento correspondiente en los registros del sitio web o de seguridad.
4. Revisa la página que recibe el rastreador
Que una página se abra en tu navegador no siempre significa que el rastreador reciba el mismo contenido. Pídele al equipo de tu sitio web que revise la respuesta a la solicitud del rastreador.
| Qué devuelve la solicitud | Qué revisar o actualizar |
|---|---|
| 403/Acceso denegado | Revisa las reglas de seguridad del host que rechazó la solicitud. Puede tratarse de un subdominio redirigido, en lugar del sitio web original. |
| 404/Página no encontrada | Corrige la página que falta o el destino de la redirección. En el caso de los enlaces de seguimiento, comprueba el destino seleccionado para distintos dispositivos o ubicaciones. |
| 429/Demasiadas solicitudes | Revisa los límites de solicitudes y los eventos de protección contra bots. Para cargas grandes de anuncios, distribuir los envíos en lotes más pequeños puede ayudar. |
| Una página en blanco, incompleta, de inicio de sesión o con un desafío | Asegúrate de que el contenido de la página prevista y los recursos necesarios estén accesibles para el rastreador. Una respuesta HTTP exitosa por sí sola no confirma que el contenido se haya cargado. |
5. Vuelve a comprobarlo después de hacer cambios
Registra qué cambió y cuándo; luego vuelve a probar la URL exacta del anuncio y sus redirecciones. Si tienes un grupo grande de anuncios, empieza con algunas URL representativas antes de aplicar la solución de forma más amplia.
Una vez que se solucione el acceso, revisa los anuncios afectados en el Gestor de anuncios. Si el estado no se actualiza, sigue los pasos disponibles para volver a enviar los anuncios o solicitar una revisión. Los anuncios deben pasar la revisión; solucionar el acceso del rastreador no garantiza la aprobación.
Vuelve a hacer estas comprobaciones después de modificar las páginas de destino, los enlaces de seguimiento, las redirecciones, el alojamiento o la configuración de seguridad.
¿Aún tienes problemas?
Comunícate con el equipo de atención al cliente con:
La cuenta de avisos afectada y los identificadores de los anuncios, si están disponibles.
La URL exacta que se usó en el anuncio y su destino final.
El mensaje de error o una captura de pantalla.
Cuándo ocurrió el error, incluida la zona horaria.
Qué revisó o cambió el equipo de tu sitio web y cuándo.
Si el equipo de soporte te comparte la hora de una verificación fallida o una ID de solicitud, compártelo con el equipo de tu sitio web para que pueda localizar la solicitud correspondiente.
Nota sobre rangos de IP estables
Algunos sistemas de seguridad requieren que el tráfico de rastreadores provenga de rangos de IP estables y documentados públicamente antes de que el tráfico pueda incluirse de forma confiable en una lista de permitidos. Como la infraestructura de rastreadores puede evolucionar con el tiempo, tu equipo de ingeniería debe evitar depender únicamente de observaciones de IP a corto plazo provenientes de los registros. En su lugar, valida el tráfico mediante una combinación de identificación de agente de usuario, programas de bots verificados cuando sean compatibles, listas de permitidos del firewall, comportamiento de robots.txt y sistemas de verificación de bots a nivel de proveedor.
Si debes permitir una lista estable de rangos de IP, consulta https://openai.com/searchbot.json y https://openai.com/adsbot.json.
Nota sobre la limitación de tasa
Las cargas por lotes grandes o los aumentos repentinos en el tráfico de rastreadores a veces pueden activar sistemas automáticos de limitación de tasa o de protección contra bots.
Si sospechas que se está produciendo una limitación de solicitudes, pide a tu equipo de ingeniería que revise los códigos de respuesta HTTP, especialmente 429 Too Many Requests, los registros del firewall o la CDN, los eventos de mitigación de bots, las reglas de limitación de solicitudes y los análisis de tráfico alrededor del momento en que el rastreador intentó acceder. Esto puede ayudar a identificar si las solicitudes se están ralentizando o bloqueando intencionalmente debido a protecciones de infraestructura.
También puedes plantearte publicar los anuncios a lo largo de un periodo de tiempo más prolongado, en lotes más pequeños.
Una nota sobre Cloudflare
OAI-AdsBot está verificado oficialmente e incluido en la lista blanca por Cloudflare.
Preguntas frecuentes sobre el rastreador y la página de destino
¿Qué rastreador se requiere para la revisión de anuncios?
OAI-AdsBot es necesario para la validación y revisión de la página de destino de ChatGPT Ads. Se recomienda OAI-SearchBot, porque puede ayudar a OpenAI a comprender el contenido web público, pero OAI-AdsBot es el rastreador que los anunciantes deberían priorizar para la preparación de anuncios.
¿Se puede omitir manualmente la validación del rastreador?
No dependas de un bypass manual. Haz que la página de destino sea rastreable para OAI-AdsBot corrigiendo robots.txt, Bloqueos de WAF, CDN, mitigación de bots, autenticación y limitación de solicitudes. Es posible que los anuncios deban volver a cargarse o enviarse a revisión después de que la página de destino sea accesible.
¿Qué debería revisar primero mi equipo de ingeniería?
Verifica si la página de destino devuelve una respuesta HTTP satisfactoria a OAI-AdsBot, si robots.txt permite la ruta correspondiente y si WAF, CDN, la mitigación de bots, los desafíos de JavaScript, los CAPTCHAs, la autenticación o las reglas geográficas bloquean el acceso automatizado.
¿Se admiten enlaces a tiendas de aplicaciones, enlaces profundos o destinos que no son web como páginas de destino?
Usa una página de destino web accesible directamente siempre que sea posible. Los enlaces a tiendas de aplicaciones, enlaces profundos, documentos o destinos que requieran una aplicación, inicio de sesión, acceso específico por región o redireccionamientos no compatibles podrían no proporcionar suficiente contenido rastreable para la validación o revisión.
¿Cuándo debo volver a subir o solicitar una revisión?
Después de corregir el acceso del rastreador, vuelve a subir o a enviar los anuncios afectados si el estado no se actualiza por sí solo. Para los anuncios cargados de forma masiva, los lotes más pequeños pueden reducir la activación del límite de solicitudes o de la protección contra bots mientras tu equipo valida la corrección.