Por que a OpenAI usa rastreadores da web?
Utilizamos rastreadores para verificar a segurança das páginas da web enviadas como anúncios no ChatGPT. Ao submeter um anúncio, a OpenAI poderá visitar a página de destino para garantir que ela esteja em conformidade com nossas políticas. Também podemos usar o conteúdo da página de destino para determinar qual é o momento mais relevante para exibir o anúncio aos usuários.
Quais rastreadores da OpenAI você deve permitir?
Você precisa permitir o OAI-AdsBot. Recomendamos permitir o OAI-AdsBot e o OAI-SearchBot.
Os rastreadores do OpenAI não conseguem rastrear meu site. O que devo fazer?
A maioria dos sites possui várias camadas de proteção antes que um rastreador consiga acessar uma página da web com sucesso. Trabalhe com sua equipe de engenharia ou segurança para validar se os rastreadores OpenAI podem passar por cada uma das seguintes camadas.
1. robots.txt
O arquivo robots.txt informa aos rastreadores se eles têm permissão para acessar determinadas partes do seu site. Os rastreadores da OpenAI respeitam essas regras. Se o acesso for bloqueado no arquivo robots.txt, o rastreamento será interrompido imediatamente.
Analise a configuração do seu arquivo robots.txt e confirme se os rastreadores da OpenAI têm permissão explícita para acessar as páginas e os caminhos relevantes. Por exemplo: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Proteção web e mitigação de bots
Muitos sites utilizam serviços como Cloudflare, Akamai ou outros provedores de proteção web para se defenderem contra ataques DDoS, raspagem de dados e tráfego não autorizado. Esses sistemas podem bloquear erroneamente rastreadores legítimos, frequentemente retornando erros 403 (Proibido). Como os rastreadores da OpenAI podem se assemelhar a padrões de tráfego automatizados, eles podem ser bloqueados, a menos que sejam especificamente incluídos em uma lista de permissões.
Revise sua configuração de proteção web ou firewall e inclua na lista de permissões o tráfego do rastreador OpenAI sempre que possível, de preferência com base em nossos agentes de usuário do rastreador. Sua equipe de engenharia ou infraestrutura também deve inspecionar quaisquer regras automatizadas de mitigação de bots que possam estar gerando falsos positivos.
3. Verificação humana e lógica anti-bot
Alguns sites implementam verificações adicionais no nível do aplicativo para verificar se um visitante é humano, como CAPTCHAs, desafios de JavaScript, análise comportamental ou validação de sessão. Como os rastreadores da OpenAI são sistemas automatizados, essas verificações podem bloquear o acesso mesmo que o rastreador passe com sucesso pelas camadas anteriores.
Analise qualquer lógica de verificação humana ou anti-automação implementada em sua aplicação e certifique-se de que os rastreadores da OpenAI sejam isentos quando apropriado, idealmente adicionando nossos agentes de usuário de rastreamento à lista de permissões.
Uma nota sobre intervalos de IP estáveis
Alguns sistemas de segurança exigem que o tráfego de rastreadores se origine de intervalos de IP estáveis e documentados publicamente antes que o tráfego possa ser adicionado à lista de permissões de forma confiável. Como a infraestrutura de rastreamento pode evoluir com o tempo, sua equipe de engenharia deve evitar depender exclusivamente de observações de IP de curto prazo a partir de registros. Em vez disso, valide o tráfego por meio de uma combinação de: identificação do agente do usuário, programas de bot verificados (onde suportados), listas de permissão do firewall, comportamento do robots.txt e sistemas de verificação de bots em nível de provedor.
Se você precisar permitir uma lista estável de intervalos de IP, consulte https://openai.com/searchbot.json e https://openai.com/adsbot.json.
Uma nota sobre limitação de taxa
Envio de grandes lotes de dados ou picos repentinos no tráfego de rastreadores podem, por vezes, acionar sistemas automatizados de limitação de taxa ou de proteção contra bots.
Se suspeitar que está ocorrendo limitação de taxa, peça à sua equipe de engenharia para revisar os códigos de resposta HTTP, especialmente o 429 Too Many Requests, os logs do firewall ou da CDN, os eventos de mitigação de bots, as regras de limitação de requisições e as análises de tráfego no período em que o rastreador tentou acessar o sistema. Isso pode ajudar a identificar se as solicitações estão sendo intencionalmente retardadas ou bloqueadas por proteções de infraestrutura.
Você também pode considerar a possibilidade de publicar anúncios em lotes menores ao longo de um período mais extenso.
Uma nota sobre o Cloudflare
O OAI-AdsBot foi oficialmente verificado e está na lista de permissões do Cloudflare.
Perguntas frequentes sobre rastreadores e páginas de destino
Qual rastreador é necessário para a análise de anúncios?
O OAI-AdsBot é necessário para a validação e revisão da página de destino dos anúncios do ChatGPT. O OAI-SearchBot é recomendado porque pode ajudar a OpenAI a entender o conteúdo público da web, mas o OAI-AdsBot é o rastreador que os anunciantes devem priorizar para a preparação de anúncios.
É possível contornar manualmente a validação do rastreador?
Não dependa de um bypass manual. Torne a página de destino rastreável pelo OAI-AdsBot corrigindo o arquivo robots.txt. WAF, CDN, mitigação de bots, autenticação e bloqueios de limitação de taxa. Pode ser necessário reenviar os anúncios para revisão após a página de destino ficar acessível.
O que minha equipe de engenharia deve verificar primeiro?
Verifique se a página de destino retorna uma resposta HTTP bem-sucedida para o OAI-AdsBot, se o arquivo robots.txt permite o caminho relevante e se o WAF, CDN, mitigação de bots, desafios JavaScript, CAPTCHAs, autenticação ou regras geográficas bloqueiam o acesso automatizado.
É possível usar links da loja de aplicativos, links diretos ou destinos que não sejam da web como páginas de destino?
Utilize uma página de destino web de acesso direto sempre que possível. Links para lojas de aplicativos, links diretos, documentos ou destinos que exigem um aplicativo, login, acesso específico de região ou redirecionamentos não suportados podem não fornecer conteúdo rastreável suficiente para validação ou revisão.
Quando devo reenviar o arquivo ou solicitar uma nova revisão?
Após corrigir o acesso do rastreador, faça o upload ou envie novamente os anúncios afetados caso o status não seja atualizado automaticamente. Para anúncios carregados em massa, lotes menores podem reduzir os acionamentos de limite de taxa ou proteção contra bots enquanto sua equipe valida a correção.