$ robots --testar
Dev e APITestador de robots.txt — Veja o Que Cada Robô Pode Acessar
Descubra o que o robots.txt de um site permite, teste uma URL contra cada robô — de busca e de IA — e veja os erros que estão custando rastreamento.
- sem cadastro
- grátis
- nada fica salvo
O que é o robots.txt
O robots.txt é um arquivo de texto simples que fica sempre no mesmo lugar: a raiz do domínio, em exemplo.com.br/robots.txt. Ele é a primeira coisa que um rastreador busca ao chegar em um site, antes de qualquer página. O conteúdo é uma lista de regras agrupadas por robô — cada bloco começa com um User-agent: e é seguido pelas diretivas Allow: e Disallow:, que liberam ou barram caminhos.
Vale entender o que o arquivo não é: ele não bloqueia nada tecnicamente. Um robô que decide ignorá-lo acessa o site do mesmo jeito, porque o servidor continua respondendo normalmente. O robots.txt funciona por convenção — os rastreadores que importam para o seu tráfego (Google, Bing, e hoje também os de IA) respeitam o que está escrito porque desrespeitar sairia caro para a reputação deles. Para conteúdo que precisa mesmo ficar fora do alcance, o instrumento é autenticação no servidor, não uma linha em um arquivo público.
Como testar se uma URL está bloqueada
Ler um robots.txt de olho engana. A regra que vale para um robô é a do grupo mais específico que corresponde ao nome dele, e apenas essa — se existe um bloco Googlebot, o Googlebot ignora inteiramente o bloco *, inclusive as restrições que só existem lá. Dentro do grupo escolhido, a regra de caminho mais longo vence, e um empate entre Allow e Disallow é resolvido a favor do Allow.
É por isso que o campo de URL desta página existe. Você informa um caminho do site e a ferramenta resolve essa cadeia de precedência para cada robô separadamente, mostrando quem entra e quem fica de fora. O resultado costuma surpreender: é comum um Disallow colocado no grupo curinga não valer para o Googlebot, que tem bloco próprio algumas linhas acima.
Robôs de IA: GPTBot, ClaudeBot e os outros
Até pouco tempo atrás, decidir sobre robots.txt era decidir sobre buscadores. Hoje há uma segunda categoria, e ela se divide em dois propósitos que convém não confundir. Alguns robôs coletam conteúdo para treinar modelos — GPTBot, CCBot, Google-Extended, Applebot-Extended. Outros buscam páginas na hora em que alguém pergunta, para citar a resposta com link: OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot.
A distinção importa porque a decisão é diferente para cada grupo. Bloquear os de treino é uma escolha sobre propriedade do conteúdo. Bloquear os de recuperação é abrir mão de aparecer citado quando alguém pergunta sobre o seu assunto a um assistente — o equivalente, em 2026, a pedir desindexação no Google. Uma armadilha específica: o Google-Extended controla o uso do seu conteúdo no treino do Gemini, mas não tira o site das Visões Gerais criadas por IA nos resultados de busca. Não existe controle separado para isso.
Os erros que mais custam caro
O primeiro é o Disallow: / esquecido. Ele bloqueia o site inteiro e quase sempre é sobra de um ambiente de homologação que foi promovido para produção com o arquivo junto. O sintoma clássico é o tráfego orgânico despencar alguns dias depois de um deploy, sem nenhuma mudança de conteúdo que explique.
O segundo é bloquear no robots.txt uma página que tem noindex. Parece reforço, e é o contrário: o robô não pode ler a meta tag de uma página que ele está proibido de baixar, então a página nunca sai do índice. Se a intenção é remover algo da busca, o rastreamento precisa continuar liberado.
O terceiro é mais silencioso: bloquear os arquivos CSS e JavaScript do site. Os buscadores renderizam a página como um navegador faria, e sem os recursos de layout a avaliação de responsividade e de conteúdo visível sai errada. Além desses, a ferramenta acima aponta o resto do repertório — caminho sem barra inicial, regra declarada antes de qualquer User-agent, Crawl-delay alto o bastante para inviabilizar o rastreamento de um site grande, e o caso em que o servidor devolve uma página HTML de erro no lugar do arquivo, com status 200, o que faz todo rastreador tratar o robots.txt como inexistente.
Privacidade nesta ferramenta
O robots.txt de outro domínio não pode ser buscado pelo seu navegador — a política de CORS impede —, então a requisição sai do nosso servidor com um User-agent identificável (CodeCrushBot). O endereço que você digita é usado para essa consulta e nada é gravado: sem banco, sem log de aplicação, com a resposta marcada como Cache-Control: no-store. O arquivo consultado já é público por definição — qualquer pessoa pode abri-lo no navegador.
## faq
Perguntas frequentes
O que é o robots.txt?
É um arquivo de texto na raiz do site (exemplo.com.br/robots.txt) que diz aos rastreadores automáticos quais partes do site eles podem percorrer. Ele segue a RFC 9309 e funciona por convenção, não por bloqueio técnico: cada linha declara um "User-agent" (o robô a que a regra se aplica) e as diretivas "Allow" e "Disallow" com os caminhos. Robôs bem-comportados — Googlebot, Bingbot, GPTBot — leem o arquivo antes de qualquer outra coisa e respeitam o que está escrito. Um raspador mal-intencionado simplesmente ignora, e o arquivo não tem como impedi-lo.
Bloquear uma página no robots.txt tira ela do Google?
Não, e essa é a confusão mais cara do SEO técnico. O "Disallow" impede o rastreamento, não a indexação. Se outros sites apontarem para a URL bloqueada, o Google pode indexá-la assim mesmo — só que sem conseguir ler o conteúdo, exibindo o resultado com a descrição "nenhuma informação disponível para esta página". Pior: se você bloquear no robots.txt uma página que já tem a meta tag noindex, o Google nunca vai conseguir ler essa meta tag, e a página fica presa no índice. Para remover algo da busca, use noindex e deixe o rastreamento liberado.
Como bloquear o GPTBot, o ClaudeBot e outros robôs de IA?
Crie um grupo para cada um no robots.txt. Por exemplo: "User-agent: GPTBot" seguido de "Disallow: /" bloqueia o rastreador da OpenAI usado para treinar modelos. Os agentes mais relevantes hoje são GPTBot, OAI-SearchBot e ChatGPT-User (OpenAI), ClaudeBot e Claude-User (Anthropic), PerplexityBot, CCBot (Common Crawl, que alimenta vários modelos), Bytespider (ByteDance), Applebot-Extended e meta-externalagent. Vale uma ressalva sobre o Google-Extended: ele controla o uso do conteúdo no treino do Gemini, mas não remove o site das Visões Gerais criadas por IA na busca — para isso não existe opção separada.
Qual é a diferença entre Disallow e noindex?
São controles de estágios diferentes. O "Disallow" no robots.txt atua antes da visita: o robô nem baixa a página. O "noindex" é uma meta tag dentro do HTML (ou o cabeçalho X-Robots-Tag) e atua depois: o robô baixa, lê e decide não colocar no índice. Use Disallow para economizar rastreamento em áreas sem valor de busca — filtros de catálogo, resultados de busca interna, painéis administrativos. Use noindex para páginas que precisam sair da busca mas continuam acessíveis, como páginas de agradecimento e versões de impressão.
Preciso declarar o sitemap no robots.txt?
Não é obrigatório, mas é a forma mais barata de garantir que qualquer rastreador encontre a lista completa de URLs do site. Basta uma linha "Sitemap: https://exemplo.com.br/sitemap.xml" em qualquer ponto do arquivo — ela é global e não pertence a nenhum grupo de User-agent. Sem ela, você depende de cadastrar o sitemap manualmente em cada ferramenta de webmaster, o que funciona para Google e Bing e não ajuda em nada com o resto.
Qual regra vence quando há mais de um grupo?
O robô aplica um único grupo: o do User-agent mais específico que corresponde ao nome dele. Se existe um grupo "Googlebot" e outro "*", o Googlebot segue apenas o primeiro e ignora completamente o segundo — inclusive as regras que só existem no curinga. É a origem de um erro silencioso comum: alguém adiciona "Disallow: /admin/" no grupo "*" achando que vale para todos, mas o Googlebot, que tem grupo próprio, continua entrando. Dentro do grupo escolhido, vence a regra de caminho mais longo; em empate entre Allow e Disallow, o Allow ganha.
O robots.txt protege conteúdo sigiloso?
Não — e usá-lo para isso piora a situação. O arquivo é público e legível por qualquer pessoa, então listar "Disallow: /area-restrita/" é publicar um índice dos caminhos que você quer esconder. Quem procura brecha lê o robots.txt primeiro justamente por isso. Conteúdo sigiloso se protege com autenticação no servidor. O robots.txt serve para orientar rastreamento, não para controlar acesso.
## outras ferramentas