O que é um arquivo robots.txt?
Um arquivo robots.txt é um arquivo de texto simples na raiz do seu site, por exemplo https://example.com/robots.txt, que informa aos rastreadores quais caminhos eles podem acessar. Ele é composto por grupos. Cada grupo começa com um ou mais Agente do usuário linhas que identificam um rastreador, seguidas por Allow e Disallow regras. Sitemap As linhas de Sitemap direcionam os rastreadores para seus sitemaps XML e podem ficar em qualquer lugar do arquivo. O formato é padronizado pela RFC 9309, o Protocolo de Exclusão de Robots, e é seguido pelo Google, pelo Bing e pela maioria dos grandes rastreadores.
Este gerador de robots.txt cria o arquivo para você a partir de predefinições e de um editor simples de grupos. O validador de robots.txt sinaliza linhas que os rastreadores ignorarão ou interpretarão incorretamente, com os números das linhas. O testador de robots.txt informa se uma URL é permitida ou bloqueada para um determinado bot e mostra a linha exata que determinou o resultado.
O que o robots.txt pode e não pode fazer
-
Ele controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados do Google, sem descrição, se outras páginas tiverem links para ela. Para manter uma página fora da pesquisa, permita que os rastreadores a acessem e adicione uma meta tag robots
noindexou um cabeçalhoX-Robots-Tag. - É voluntário. Rastreadores bem-comportados o seguem. Raspadores que o ignoram não são impedidos. Isso não é controle de acesso: proteja páginas privadas com um login.
- É público. Qualquer pessoa pode abrir seu robots.txt, portanto não liste caminhos secretos nele.
-
Funciona por host.
shop.example.comeexample.comprecisam, cada um, do seu próprio arquivo na própria raiz.
Como o Google lê as regras
O Google documenta sua lógica de correspondência, e a aba Testar URL segue as mesmas etapas:
-
Escolha o grupo. Um rastreador usa o grupo com o agente de usuário mais específico que corresponda ao seu token, sem diferenciar maiúsculas de minúsculas. O Googlebot-News usa um grupo
googlebot-newsse houver um; caso contrário,googlebot; caso contrário,*. Vários grupos para o mesmo rastreador são mesclados em um só. -
Faça a correspondência com o caminho. Os caminhos diferenciam maiúsculas de minúsculas e correspondem desde o início, incluindo a string de consulta.
*corresponde a qualquer sequência de caracteres e$marca o fim da URL./fish*significa o mesmo que/fish, e/*.php$corresponde a/index.php, mas não a/index.php?id=1. - A regra mais longa vence. Entre as regras correspondentes, a que tiver o caminho mais longo decide. Se uma regra Allow e uma Disallow tiverem o mesmo comprimento, o Google usa a menos restritiva, que é a Allow.
-
Um Disallow vazio não bloqueia nada.
Disallow:sem caminho significa que o grupo pode rastrear tudo.
User-agent: * Disallow: /account/ Allow: /account/login
Aqui /account/orders é bloqueado, enquanto /account/login é permitido porque a regra Allow é mais longa e específica.
Bloqueando rastreadores de AI com robots.txt
Muitas empresas de AI publicam tokens de agentes de usuário que você pode bloquear. Eles não são todos o mesmo tipo de bot, e a diferença é importante:
- Rastreadores de treinamento. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent e Bytespider (ByteDance) coletam páginas que podem ser usadas para treinar modelos. Bloqueá-los solicita que essas empresas não usem rastreamentos futuros.
- Tokens de controle. Google-Extended e Applebot-Extended não são rastreadores separados. Google-Extended informa ao Google para não usar seu conteúdo no treinamento e na fundamentação do Gemini. Isso não altera a forma como o Googlebot rastreia, indexa ou classifica suas páginas na Pesquisa Google. Applebot-Extended opta você por não participar do treinamento de modelos da Apple, enquanto o Applebot continua rastreando para a Siri e o Spotlight.
- Pesquisas de AI e acessos de usuários. OAI-SearchBot, Claude-SearchBot e PerplexityBot acessam páginas para exibi-las e citá-las em respostas de AI. ChatGPT-User e Claude-User acessam uma página quando uma pessoa pede ao assistente que a leia. Bloqueá-los pode remover suas páginas das respostas e citações de AI, que muitas vezes são tráfego que você deseja.
A predefinição de AI bloqueia rastreadores de treinamento e deixa os agentes de pesquisa e de usuários desmarcados para que você decida. O robots.txt só se aplica a rastreamentos futuros. Ele não remove conteúdo que já foi coletado.
robots.txt no Shopify e no WordPress
O Shopify gera o robots.txt para você e não permite enviar um arquivo. Para alterá-lo, adicione um robots.txt.liquid modelo ao seu tema (Loja virtual -> Temas -> Editar código -> Adicionar um novo modelo -> robots) e adicione suas regras lá. A predefinição no estilo Shopify desta ferramenta é semelhante ao padrão do Shopify, para que você possa revisar e testar as regras antes de editar o modelo. O Shopify disponibiliza um robots.txt virtual que proíbe /wp-admin/ mas permite /wp-admin/admin-ajax.php. Um arquivo robots.txt real na raiz do site o substitui, e muitos plugins de SEO permitem editá-lo pelo painel.
Erros comuns detectados pelo validador
-
Noindexlinhas. O Google deixou de oferecer suporte a elas no robots.txt em 2019 e as ignora. - URLs relativas de sitemap, como
Sitemap: /sitemap.xml. A URL deve ser absoluta. - Regras colocadas antes de qualquer
Agente do usuáriolinha, que os rastreadores ignoram. - Caminhos sem uma barra inicial, URLs completas nas regras e caminhos não ASCII que devem ser codificados em porcentagem.
-
Atraso de rastreamento, que o Google ignora. O Bing e o Yandex leem essa diretiva. - Arquivos maiores que 500 KiB. O Google ignora tudo depois desse limite.
- Erros de digitação, como
Proibire diretivas desconhecidas.
As regras de rastreamento são apenas uma parte do SEO técnico. Verifique seus dados estruturados com o validador de marcação de schema, escreva snippets de busca com o gerador de meta description, analise uma página com o analisador de SEO com AI ou explore todos os geradores e ferramentas de AI gratuitos.
Perguntas frequentes
Este gerador de robots.txt é gratuito?
Sim. Não é necessário cadastro e não há limite. Tudo é executado no seu navegador, portanto o robots.txt que você cria, cola ou testa não é enviado a nenhum servidor.
Onde coloco o arquivo robots.txt?
Na raiz de cada host, para que seja carregado em https://yourdomain.com/robots.txt. Um robots.txt em uma subpasta é ignorado. No Shopify, você edita o modelo de tema robots.txt.liquid em vez de enviar um arquivo.
O robots.txt impede que uma página seja indexada?
Não. Ele controla o rastreamento, não a indexação. Uma página bloqueada ainda pode ser indexada a partir de links, mas sem o conteúdo. Para manter uma página fora do Google, permita o rastreamento e adicione uma meta tag robots noindex ou um cabeçalho X-Robots-Tag.
Bloquear o GPTBot ou o Google-Extended prejudica minhas classificações no Google?
Não. O GPTBot é o rastreador de treinamento da OpenAI e não tem relação com o Google Search. O Google-Extended controla apenas se o Google usa seu conteúdo no treinamento e na fundamentação do Gemini, não o rastreamento ou a classificação na Busca. Bloquear bots de busca de AI, como OAI-SearchBot ou PerplexityBot, pode remover suas páginas dessas respostas de AI.
Todos os bots obedecem ao robots.txt?
Não. O robots.txt é um padrão voluntário. Os principais mecanismos de busca e a maioria das empresas de AI dizem que o seguem, mas os scrapers podem ignorá-lo. Use logins, regras de firewall ou limites de taxa para tudo o que precisa permanecer privado.
