Crawlers de IA: como controlar GPTBot, ClaudeBot, OAI-SearchBot e os demais

Resumo: os crawlers de IA são de três tipos. Os crawlers de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) decidem se ChatGPT, Claude e Perplexity conseguem encontrar e citar suas páginas. Os crawlers de treinamento (GPTBot, ClaudeBot, CCBot) e os tokens de controle (Google-Extended, Applebot-Extended) decidem se seu conteúdo pode treinar modelos futuros. Os fetchers de usuário (ChatGPT-User, Claude-User, Perplexity-User) visitam uma página porque uma pessoa perguntou sobre ela. Libere os crawlers de busca se quiser aparecer nas respostas de IA, decida o treinamento separadamente e verifique seu firewall, porque uma regra de CDN pode bloquear todos eles mesmo com o robots.txt dizendo "allow".

Um dono de site adiciona Disallow: / para o GPTBot a fim de ficar fora dos dados de treinamento e acha que o trabalho está feito. Enquanto isso, a proteção contra bots da CDN responde com 403 a todo user agent de IA, e o ChatGPT search, o Claude e o Perplexity nunca chegam a ver o site. Ou o contrário: o robots.txt bloqueia tudo que é relacionado a IA, inclusive os crawlers de busca que teriam citado a empresa nas respostas.

Os dois erros vêm de tratar "crawlers de IA" como se fossem uma coisa só. Não são, e cada provedor documenta seus bots separadamente. Este guia mostra qual crawler faz o quê, as três camadas que decidem se um crawler realmente recebe seu conteúdo, como nosso verificador de crawlers de IA gratuito os testa e como corrigir cada problema que ele pode apontar.

Os três tipos de crawler de IA

Hoje todo grande provedor de IA separa os bots por finalidade. A tabela abaixo segue a documentação de cada provedor em outubro de 2026.

Fontes: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.

Três detalhes dessa documentação mudam a forma como você deve escrever as regras:

• Os recursos de IA do Google rodam no Googlebot. Os AI Overviews e o AI Mode usam o índice normal da Busca. O Google diz que a página precisa estar indexada e ser elegível para exibir snippet, sem nenhum requisito técnico adicional (AI features and your website). O Google-Extended "não afeta a inclusão de um site na Busca do Google nem é usado como sinal de ranqueamento". Bloqueá-lo é uma decisão sobre treinamento e grounding do Gemini, não sobre a Busca.
• O Applebot recorre às regras do Googlebot. A Apple diz que, se o seu robots.txt não menciona o Applebot mas menciona o Googlebot, o Applebot segue as instruções do Googlebot. Um bloqueio só para o Googlebot, portanto, também esconde você da Siri, do Spotlight e das sugestões do Safari.
• As mudanças não são imediatas. A OpenAI diz que pode levar cerca de 24 horas após uma atualização do robots.txt para o OAI-SearchBot se ajustar, e o Perplexity fala em até 24 horas.

Por que o acesso dos crawlers de IA importa

Um assistente só pode citar uma página que conseguiu ler. Se o OAI-SearchBot não consegue acessar sua página de preços, o ChatGPT search vai responder "quanto custa X" com base na página de outra pessoa sobre você, que pode ser um revendedor, uma avaliação antiga ou a comparação de um concorrente. O mesmo vale para Claude e Perplexity.

O treinamento é outra questão, sem resposta única certa. Alguns editores bloqueiam crawlers de treinamento para proteger conteúdo pago; muitas empresas de software os liberam porque querem que os modelos futuros conheçam seu produto. O que importa é que a decisão seja deliberada e que não derrube junto os crawlers de busca. Nosso guia de generative engine optimization cobre o que acontece depois do acesso: como os assistentes escolhem e citam fontes.

Três camadas decidem se um crawler recebe seu conteúdo

1. robots.txt

O robots.txt é a primeira coisa que um crawler bem-comportado lê. Segundo a RFC 9309, o crawler procura o grupo cujo User-agent corresponde ao seu token de produto (sem diferenciar maiúsculas de minúsculas), combina todos os grupos que correspondem e recorre ao grupo * apenas se nenhum grupo o citar. A regra mais específica, a de caminho com maior correspondência, vence, e quando uma regra allow e uma disallow são igualmente específicas, deve-se usar allow.

É nesse fallback que nascem a maioria das surpresas. Um arquivo só com isto:

User-agent: *
Disallow: /

bloqueia todos os crawlers de IA, o Googlebot e o Bingbot juntos. Um arquivo com um grupo GPTBot e um grupo * dá ao GPTBot apenas o grupo dele; as regras de * são ignoradas por completo, o que importa se você colocou disallows importantes ali.

2. O firewall, a CDN ou a hospedagem

Uma requisição pode ser recusada antes de o robots.txt ser consultado. Produtos de proteção contra bots, firewalls de aplicação web (WAF) e algumas hospedagens identificam user agents e respondem 403, exibem uma página de desafio ou aplicam rate limit com 429. O Google observa que respostas 429 e 5xx fazem seus crawlers reduzirem o ritmo (HTTP status codes and Google Search), e os crawlers de IA encontram os mesmos muros.

A Cloudflare é o caso mais comum. A configuração original "Block AI bots", que a documentação da Cloudflare lista como descontinuada em 15 de setembro de 2026, bloqueava bots verificados classificados como rastreadores para treinamento de IA. Ela foi substituída por políticas de tráfego de bots de IA com três presets, Search, Agent e Training, cada um podendo ser permitido, bloqueado em todas as páginas ou bloqueado apenas nas páginas que exibem anúncios (changelog da Cloudflare). Para novos domínios a partir de 15 de setembro de 2026, os padrões da Cloudflare bloqueiam os bots Training e Agent nas páginas que exibem anúncios, enquanto Search continua permitido, e a Cloudflare observa que crawlers multifuncionais que combinam busca e treinamento são afetados pelo bloqueio de treinamento. Os exemplos da Cloudflare para o preset Agent incluem bots de fetch de chat; portanto, verifique essa configuração se quiser que fetches pedidos por usuários, como o ChatGPT-User, funcionem.

3. Renderização

Mesmo quando o crawler recebe uma resposta 200, ele pode não executar seu JavaScript. A Vercel analisou o tráfego de crawlers de IA em sua rede em dezembro de 2024 e informou que "nenhum dos principais crawlers de IA renderiza JavaScript atualmente", citando GPTBot, ClaudeBot e PerplexityBot (The rise of the AI crawler). Se o seu texto é injetado por um app client-side, esses crawlers recebem uma casca vazia.

Como funciona o verificador de crawlers de IA da Searvia

O verificador de crawlers de IA roda o mesmo motor do nosso verificador de SEO de sites: você informa um domínio ou o endereço de uma página, ele lê essa página e os arquivos do site ao redor e executa 38 verificações em cerca de 20 segundos. As três verificações que são o foco desta ferramenta aparecem primeiro em uma caixa destacada, com a primeira expandida. Tudo abaixo descreve o que o código realmente faz.

Qual página. O verificador analisa o endereço exato que você informa, ou a página inicial se você informar só o domínio; o robots.txt e outros arquivos do site são sempre lidos a partir do domínio. Ele tenta https:// primeiro e recorre a http://, segue até seis redirecionamentos e se identifica como SearviaBot/1.0 na visita normal.

Acesso dos crawlers de IA (prioridade alta). Ele baixa /robots.txt do host final. Um 404 ou outro 4xx significa que não há arquivo, então tudo é permitido. Um 5xx, um 429 ou um erro de conexão significa que o arquivo está inacessível: todos os tokens aparecem como "Unknown" e a verificação falha, porque a RFC 9309 manda os crawlers tratarem o site como totalmente bloqueado. Um 200 que devolve uma página HTML não é um robots.txt válido. Para cada um dos 10 tokens de crawler e 2 tokens de opt-out de treinamento, ele escolhe o grupo que cita o token, ou o grupo * se nenhum o citar, e faz uma única pergunta: esse token pode acessar o caminho da página que você informou (/ para a página inicial)? Ele usa a regra da correspondência mais longa, com empates indo para allow, entende os curingas * e $, comentários, várias linhas User-agent compartilhando um mesmo conjunto de regras e grupos repetidos para o mesmo token.

Googlebot e Bingbot estão na coluna de busca porque os recursos de IA do Google rodam no Googlebot e o Microsoft Copilot baseia suas respostas no Bing. Google-Extended e Applebot-Extended nunca visitam seu site; uma regra para eles apenas controla se o conteúdo já rastreado pelo Googlebot ou pelo Applebot pode ser usado para treinamento de IA. Cada linha mostra Allowed, Blocked ou Unknown.

O teste de firewall. Em seguida, o verificador requisita a mesma página mais uma vez com o user agent que a OpenAI documenta para o GPTBot (GPTBot/1.4), sem seguir redirecionamentos. Se a visita normal funcionou (status abaixo de 400) mas essa requisição recebe 401, 403, 429 ou 503, o relatório avisa que requisições que se identificam como GPTBot foram recusadas. A requisição não vem dos endereços IP da OpenAI, então o crawler real pode ser tratado de forma diferente.

Conteúdo sem JavaScript (prioridade média). Ele conta as palavras do texto principal no HTML bruto, deixando de fora menus e rodapés. Se houver menos de 80 palavras e a página tiver um contêiner de app vazio (<div id="root">, app, __next, __nuxt ou svelte) ou carregar três ou mais scripts externos, ele avisa que crawlers que não executam JavaScript podem ver uma página vazia.

robots.txt (prioridade média). A terceira verificação em foco informa se o robots.txt existe, se responde com erro de servidor ou com uma página HTML e se bloqueia o Googlebot na página inicial ou na página que você informou. Nosso guia de robots.txt trata desse arquivo em profundidade.

Regras de status. O acesso dos crawlers de IA falha se qualquer um dos sete tokens de busca estiver bloqueado ou se o robots.txt não puder ser acessado. Um teste de firewall recusado gera um aviso. Crawlers de treinamento e tokens de opt-out bloqueados são listados, mas a verificação continua passando, porque essa é uma escolha legítima.

O que o verificador não testa

Conhecer os limites evita que você leia demais um resultado verde:

• Um caminho por execução. Só o caminho da página que você informa é testado (/ para um domínio simples). Uma regra como Disallow: /pricing/ para o OAI-SearchBot só é detectada se você informar essa página. Leia seu arquivo para encontrar bloqueios por seção.
• O teste de firewall usa um único user agent a partir dos nossos servidores. Ele envia o nome do GPTBot, não o do OAI-SearchBot, e não vem dos endereços IP da OpenAI. Um firewall que verifica bots por IP pode bloquear nossa requisição como impostora e deixar o GPTBot real passar, e um firewall que bloqueia as faixas de IP da OpenAI mas não o user agent passa no nosso teste. Trate um aviso de firewall como "verifique suas configurações de bots" e depois confirme nos logs.
• Tokens fora da lista, como Perplexity-User ou OAI-AdsBot, não são testados.

Como ler o resultado

A tabela sob a linha de crawlers de IA mostra cada token como Allowed, Blocked ou Unknown, com seu rótulo. A nota geral, de A+ a F, cobre as 38 verificações, ponderadas por prioridade: verificações de prioridade alta valem 10 pontos, médias 5 e baixas 2, um aviso vale metade, e resultados informativos ficam de fora. A lista "Fix these first" mostra até oito problemas, com os de prioridade alta primeiro. Cada linha também mostra que parcela dos sites auditados passa na mesma verificação, o que indica se o problema é raro ou comum.

Como corrigir cada problema apontado pelo verificador

1. O robots.txt bloqueia crawlers de busca de IA

Abra https://yourdomain.com/robots.txt e encontre o grupo que se aplica a cada token bloqueado: um grupo que o cite ou, na falta dele, *. Depois defina sua política e escreva-a de forma explícita. Este arquivo permite busca de IA e fetches de usuário, bloqueia o treinamento e mantém as regras habituais para todos os demais:

# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Passo a passo:

1. Remova qualquer User-agent: * com Disallow: / que tenha sobrado de um site de staging. Esse par sozinho bloqueia tudo.
2. Se o grupo de busca de IA precisar das mesmas regras de áreas privadas que todos os demais, copie-as para ele. Um grupo nomeado não herda as regras de *.
3. Se você usa um plugin ou recurso de CDN que escreve o robots.txt por você, altere por lá; editar o arquivo à mão é sobrescrito no próximo deploy.
4. Salve, recarregue o arquivo no ar em uma janela anônima e rode o verificador de crawlers de IA novamente.
5. Espere um dia antes de esperar que a mudança valha do lado da OpenAI e do Perplexity.

2. O firewall barrou o crawler

1. Encontre a regra. No log de eventos da sua CDN ou firewall, filtre por user agents que contenham GPTBot, OAI-SearchBot, ClaudeBot ou PerplexityBot e anote qual regra agiu: proteção contra bots, um conjunto de regras gerenciadas, um rate limit ou um bloqueio por país.
2. Na Cloudflare, abra o AI Crawl Control: ele lista cada crawler de IA com Allow ou Block, assim você pode permitir os crawlers de busca de IA e continuar bloqueando os de treinamento. Revise também as políticas de tráfego de bots de IA nas configurações de segurança da sua zona. Defina Search como permitido se quiser ser citado. Decida Training e Agent por seus próprios méritos e lembre-se de que "bloquear em páginas com anúncios" só vale para páginas que a Cloudflare detecta como exibindo anúncios.
3. Em outros WAFs, adicione uma regra de permissão para os bots que você quer, combinando user agent e as faixas de IP publicadas pelo provedor, como o Perplexity recomenda. A OpenAI publica searchbot.json, gptbot.json e chatgpt-user.json, o Perplexity perplexitybot.json e perplexity-user.json, a Anthropic claude.com/crawling/bots.json e o Common Crawl ccbot.json. Dê à regra de permissão prioridade maior que às regras de bloqueio e atualize as faixas regularmente, pois elas mudam.
4. Rate limits. Se a sonda recebeu 429, seu rate limit é mais rígido que o ritmo de um crawler. Aumente-o para bots verificados em vez de desativá-lo.
5. Não bloqueie por IP para sair do treinamento. A Anthropic alerta que bloquear seus endereços IP pode não excluir você de forma confiável, porque seus bots então não conseguem ler o seu robots.txt. Use o robots.txt para a política e o firewall para abuso.

Se você tem certeza de que seu firewall verifica bots por IP e o aviso vem da nossa requisição não verificada, confirme com os logs: requisições reais das faixas da OpenAI devem estar recebendo 200.

3. Os crawlers de treinamento estão bloqueados

Isso é informado, mas não conta como falha. Verifique duas coisas. Primeiro, se o bloqueio é o que você quer: bloquear o Google-Extended também remove seu conteúdo do grounding nos apps do Gemini, e bloquear o Applebot-Extended afeta apenas o treinamento, não os recursos de busca da Apple. Segundo, se o bloqueio está em um grupo nomeado e não em *, onde também pegaria os crawlers de busca.

4. Poucas palavras são visíveis antes de o JavaScript rodar

1. Veja o código-fonte da página (não o inspetor) da sua página inicial e das páginas principais. Se o texto principal não estiver lá, os crawlers que não renderizam JavaScript não veem nada.
2. Renderize os templates principais no servidor: server-side rendering, geração estática ou pré-renderização. No Next.js, por exemplo, use Server Components ou geração estática em vez de buscar o texto no navegador.
3. Garanta que o essencial esteja no HTML: a descrição do produto, preços, planos e respostas de FAQ. Widgets interativos podem continuar no cliente.
4. Rode o verificador de novo; a contagem de palavras na mensagem deve subir.

5. O robots.txt está ausente ou bloqueia o Google

O verificador distingue os casos. "No robots.txt file was found" significa um 404 ou outro 4xx, o que é inofensivo: os crawlers tratam como "sem restrições". "robots.txt answers with status N" ou "could not be reached" significa um 5xx, um 429 ou um timeout, o que é sério: a RFC 9309 diz que o crawler deve então presumir bloqueio total, e o Google interrompe o rastreamento nas primeiras 12 horas (especificação de robots.txt do Google). Corrija o servidor para que /robots.txt responda 200 com texto simples, ou 404 se você não precisa de regras, e confirme com curl -I https://yourdomain.com/robots.txt. Um robots.txt que devolve uma página HTML também é sinalizado. Se o robots.txt bloqueia o Googlebot em /, corrija isso primeiro: ele também bloqueia os recursos de IA do Google e, pelo fallback da Apple, o Applebot.

Verifique os crawlers nos seus logs

Qualquer um pode enviar uma requisição que diz "GPTBot". Antes de liberar um bot no firewall ou culpá-lo por carga, verifique-o:

• OpenAI, Anthropic, Perplexity, Common Crawl: compare o IP com as listas JSON citadas acima.
• Google: faça uma consulta de DNS reverso no IP, confirme que o nome termina em googlebot.com, google.com ou googleusercontent.com, depois faça uma consulta direta e confirme que ela devolve o mesmo IP (Verifying Googlebot). O Google também publica listas JSON como common-crawlers.json e user-triggered-fetchers.json.
• O Common Crawl observa que alguns crawlers se identificam falsamente como CCBot, e por isso publica suas faixas com DNS reverso.

Exemplo prático (hipotético)

O exemplo a seguir é hipotético, não são dados reais. A Larkspur Analytics, uma ferramenta B2B de dashboards inventada, descobre que o ChatGPT descreve seus preços a partir de um site de avaliações de 2024. O verificador de crawlers de IA informa:

O robots.txt estava certo; a equipe havia bloqueado o treinamento de propósito. O 403 vinha de uma regra de proteção contra bots que um prestador de serviço ativou durante um incidente de scraping, e que correspondia a todo user agent contendo "bot". As correções:

1. Substituíram a regra ampla por um rate limit e adicionaram regras de permissão para OAI-SearchBot, Claude-SearchBot e PerplexityBot, combinando user agent e faixas de IP publicadas.
2. Passaram as páginas de preços e de recursos para geração estática, de modo que o HTML trouxesse o texto completo.
3. Rodaram o verificador de novo: o acesso dos crawlers de IA passou e a contagem de palavras visíveis subiu para 1.180.
4. Duas semanas depois, os logs do servidor mostraram requisições verificadas do OAI-SearchBot e do PerplexityBot à página de preços, e novas respostas do ChatGPT passaram a citá-la.

Um checklist de crawlers de IA em 20 minutos

1. Rode o verificador de crawlers de IA gratuito no seu domínio.
2. Anote sua política: busca permitida, treinamento permitido ou bloqueado, fetches de usuário permitidos.
3. Expresse-a em grupos nomeados do robots.txt, nunca apenas em *.
4. Verifique as configurações de bots do firewall ou da CDN, incluindo o AI Crawl Control da Cloudflare.
5. Veja o código-fonte das suas páginas principais e confirme que o texto principal está no HTML.
6. Confirme nos logs, uma semana depois, que os crawlers de busca verificados estão recebendo 200.

Como a Searvia ajuda com os crawlers de IA

O verificador de crawlers de IA gratuito entrega, em uma única execução, o panorama do robots.txt para 10 crawlers de IA e de busca e 2 tokens de opt-out de treinamento, um teste de firewall e a verificação de JavaScript, com um relatório compartilhável. O verificador de prontidão para busca com IA, mais abrangente, acrescenta llms.txt, marcação de identidade, conteúdo em formato de pergunta e resposta e atualização do conteúdo. Se seu site roda na Cloudflare, conecte a Cloudflare com um token somente leitura: a aba de crawlers de IA do projeto do seu site mostra quais crawlers de IA realmente visitam, com que frequência e quais páginas leem, com os crawlers falsos filtrados. O acesso é apenas o primeiro passo; o monitoramento de visibilidade em IA verifica então toda semana se assistentes como ChatGPT, Gemini e Perplexity realmente mencionam e citam você. Comece com o plano gratuito na página de preços.