Ferramenta grátisFunciona no seu navegador · sem cadastro

// ferramenta gratuita - gerador de robots.txt

Gerador de Robots.txt Valide e teste também

Crie um arquivo robots.txt a partir de predefinições para Shopify, WordPress e rastreadores de AI, verifique-o linha por linha em busca de erros e teste se uma URL é permitida ou bloqueada para o Googlebot, GPTBot ou qualquer outro bot, usando as regras de correspondência do Google.

  • Grátis - sem cadastro
  • Executado no seu navegador
  • Predefinições de rastreadores de AI
  • Regras de correspondência do Google

Seu robots.txt

Nada é enviado para lugar algum. O resultado é atualizado conforme você digita.

Começar com uma predefinição

Grupos de User-agent
rastreadores de AI a bloquear (0 selecionados)

Os bots verificados terão seu próprio grupo com Disallow: /. O robots.txt é voluntário: bots que seguem boas práticas o obedecem, mas rastreadores que o ignoram não são impedidos.

    robots.txt Pronto
    Verificações

      Mesma URL, outros bots

      Agente do usuário Resultado Determinado por
      Vá além do arquivo

      Um robots.txt organizado é um começo. SEO técnico é o restante.

      As regras de rastreamento são uma parte de como os mecanismos de pesquisa e os assistentes de AI veem seu site. Estes especialistas de AI se conectam ao Claude, ChatGPT ou a qualquer chat de AI e ajudam com o restante: auditorias, problemas de indexação, estrutura do site e conteúdo.

      O que é um arquivo robots.txt?

      Um arquivo robots.txt é um arquivo de texto simples na raiz do seu site, por exemplo https://example.com/robots.txt, que informa aos rastreadores quais caminhos eles podem acessar. Ele é composto por grupos. Cada grupo começa com um ou mais Agente do usuário linhas que identificam um rastreador, seguidas por Allow e Disallow regras. Sitemap As linhas de Sitemap direcionam os rastreadores para seus sitemaps XML e podem ficar em qualquer lugar do arquivo. O formato é padronizado pela RFC 9309, o Protocolo de Exclusão de Robots, e é seguido pelo Google, pelo Bing e pela maioria dos grandes rastreadores.

      Este gerador de robots.txt cria o arquivo para você a partir de predefinições e de um editor simples de grupos. O validador de robots.txt sinaliza linhas que os rastreadores ignorarão ou interpretarão incorretamente, com os números das linhas. O testador de robots.txt informa se uma URL é permitida ou bloqueada para um determinado bot e mostra a linha exata que determinou o resultado.

      O que o robots.txt pode e não pode fazer

      • Ele controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados do Google, sem descrição, se outras páginas tiverem links para ela. Para manter uma página fora da pesquisa, permita que os rastreadores a acessem e adicione uma meta tag robots noindex ou um cabeçalho X-Robots-Tag.
      • É voluntário. Rastreadores bem-comportados o seguem. Raspadores que o ignoram não são impedidos. Isso não é controle de acesso: proteja páginas privadas com um login.
      • É público. Qualquer pessoa pode abrir seu robots.txt, portanto não liste caminhos secretos nele.
      • Funciona por host. shop.example.com e example.com precisam, cada um, do seu próprio arquivo na própria raiz.

      Como o Google lê as regras

      O Google documenta sua lógica de correspondência, e a aba Testar URL segue as mesmas etapas:

      1. Escolha o grupo. Um rastreador usa o grupo com o agente de usuário mais específico que corresponda ao seu token, sem diferenciar maiúsculas de minúsculas. O Googlebot-News usa um grupo googlebot-news se houver um; caso contrário, googlebot; caso contrário, *. Vários grupos para o mesmo rastreador são mesclados em um só.
      2. Faça a correspondência com o caminho. Os caminhos diferenciam maiúsculas de minúsculas e correspondem desde o início, incluindo a string de consulta. * corresponde a qualquer sequência de caracteres e $ marca o fim da URL. /fish* significa o mesmo que /fish, e /*.php$ corresponde a /index.php, mas não a /index.php?id=1.
      3. A regra mais longa vence. Entre as regras correspondentes, a que tiver o caminho mais longo decide. Se uma regra Allow e uma Disallow tiverem o mesmo comprimento, o Google usa a menos restritiva, que é a Allow.
      4. Um Disallow vazio não bloqueia nada. Disallow: sem caminho significa que o grupo pode rastrear tudo.
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      Aqui /account/orders é bloqueado, enquanto /account/login é permitido porque a regra Allow é mais longa e específica.

      Bloqueando rastreadores de AI com robots.txt

      Muitas empresas de AI publicam tokens de agentes de usuário que você pode bloquear. Eles não são todos o mesmo tipo de bot, e a diferença é importante:

      • Rastreadores de treinamento. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent e Bytespider (ByteDance) coletam páginas que podem ser usadas para treinar modelos. Bloqueá-los solicita que essas empresas não usem rastreamentos futuros.
      • Tokens de controle. Google-Extended e Applebot-Extended não são rastreadores separados. Google-Extended informa ao Google para não usar seu conteúdo no treinamento e na fundamentação do Gemini. Isso não altera a forma como o Googlebot rastreia, indexa ou classifica suas páginas na Pesquisa Google. Applebot-Extended opta você por não participar do treinamento de modelos da Apple, enquanto o Applebot continua rastreando para a Siri e o Spotlight.
      • Pesquisas de AI e acessos de usuários. OAI-SearchBot, Claude-SearchBot e PerplexityBot acessam páginas para exibi-las e citá-las em respostas de AI. ChatGPT-User e Claude-User acessam uma página quando uma pessoa pede ao assistente que a leia. Bloqueá-los pode remover suas páginas das respostas e citações de AI, que muitas vezes são tráfego que você deseja.

      A predefinição de AI bloqueia rastreadores de treinamento e deixa os agentes de pesquisa e de usuários desmarcados para que você decida. O robots.txt só se aplica a rastreamentos futuros. Ele não remove conteúdo que já foi coletado.

      robots.txt no Shopify e no WordPress

      O Shopify gera o robots.txt para você e não permite enviar um arquivo. Para alterá-lo, adicione um robots.txt.liquid modelo ao seu tema (Loja virtual -> Temas -> Editar código -> Adicionar um novo modelo -> robots) e adicione suas regras lá. A predefinição no estilo Shopify desta ferramenta é semelhante ao padrão do Shopify, para que você possa revisar e testar as regras antes de editar o modelo. O Shopify disponibiliza um robots.txt virtual que proíbe /wp-admin/ mas permite /wp-admin/admin-ajax.php. Um arquivo robots.txt real na raiz do site o substitui, e muitos plugins de SEO permitem editá-lo pelo painel.

      Erros comuns detectados pelo validador

      • Noindex linhas. O Google deixou de oferecer suporte a elas no robots.txt em 2019 e as ignora.
      • URLs relativas de sitemap, como Sitemap: /sitemap.xml. A URL deve ser absoluta.
      • Regras colocadas antes de qualquer Agente do usuário linha, que os rastreadores ignoram.
      • Caminhos sem uma barra inicial, URLs completas nas regras e caminhos não ASCII que devem ser codificados em porcentagem.
      • Atraso de rastreamento, que o Google ignora. O Bing e o Yandex leem essa diretiva.
      • Arquivos maiores que 500 KiB. O Google ignora tudo depois desse limite.
      • Erros de digitação, como Proibir e diretivas desconhecidas.

      As regras de rastreamento são apenas uma parte do SEO técnico. Verifique seus dados estruturados com o validador de marcação de schema, escreva snippets de busca com o gerador de meta description, analise uma página com o analisador de SEO com AI ou explore todos os geradores e ferramentas de AI gratuitos.

      Perguntas frequentes

      Este gerador de robots.txt é gratuito?

      Sim. Não é necessário cadastro e não há limite. Tudo é executado no seu navegador, portanto o robots.txt que você cria, cola ou testa não é enviado a nenhum servidor.

      Onde coloco o arquivo robots.txt?

      Na raiz de cada host, para que seja carregado em https://yourdomain.com/robots.txt. Um robots.txt em uma subpasta é ignorado. No Shopify, você edita o modelo de tema robots.txt.liquid em vez de enviar um arquivo.

      O robots.txt impede que uma página seja indexada?

      Não. Ele controla o rastreamento, não a indexação. Uma página bloqueada ainda pode ser indexada a partir de links, mas sem o conteúdo. Para manter uma página fora do Google, permita o rastreamento e adicione uma meta tag robots noindex ou um cabeçalho X-Robots-Tag.

      Bloquear o GPTBot ou o Google-Extended prejudica minhas classificações no Google?

      Não. O GPTBot é o rastreador de treinamento da OpenAI e não tem relação com o Google Search. O Google-Extended controla apenas se o Google usa seu conteúdo no treinamento e na fundamentação do Gemini, não o rastreamento ou a classificação na Busca. Bloquear bots de busca de AI, como OAI-SearchBot ou PerplexityBot, pode remover suas páginas dessas respostas de AI.

      Todos os bots obedecem ao robots.txt?

      Não. O robots.txt é um padrão voluntário. Os principais mecanismos de busca e a maioria das empresas de AI dizem que o seguem, mas os scrapers podem ignorá-lo. Use logins, regras de firewall ou limites de taxa para tudo o que precisa permanecer privado.

      Mais ferramentas para desenvolvedores grátis

      Todas as ferramentas grátis →