¿Qué es un archivo robots.txt?
Un archivo robots.txt es un archivo de texto sin formato en la raíz de tu sitio, por ejemplo https://example.com/robots.txt, que indica a los rastreadores qué rutas pueden obtener. Consta de grupos. Cada grupo comienza con uno o más Agente de usuario líneas que nombran a un rastreador, seguidas de Permitir y No permitir reglas. Mapa del sitio Las líneas dirigen a los rastreadores a tus mapas del sitio XML y pueden estar en cualquier lugar del archivo. El formato está estandarizado como RFC 9309, el Protocolo de Exclusión de Robots, y Google, Bing y la mayoría de los rastreadores grandes lo siguen.
Este generador de robots.txt crea el archivo por ti a partir de ajustes predefinidos y un editor de grupos sencillo. El validador de robots.txt señala las líneas que los rastreadores ignorarán o interpretarán mal, con sus números de línea. El comprobador de robots.txt te indica si una URL está permitida o bloqueada para un bot determinado y muestra la línea exacta que lo decide.
Lo que robots.txt puede y no puede hacer
-
Controla el rastreo, no la indexación. Una URL bloqueada aún puede aparecer en los resultados de Google, sin descripción, si otras páginas enlazan con ella. Para mantener una página fuera de los resultados de búsqueda, permite que los rastreadores la obtengan y añade una etiqueta meta de robots
noindexo un encabezadoX-Robots-Tag. - Es voluntario. Los rastreadores que se comportan correctamente lo siguen. Los scrapers que lo ignoran no se detienen. No es un control de acceso: protege las páginas privadas con un inicio de sesión.
- Es público. Cualquiera puede abrir tu robots.txt, así que no incluyas rutas secretas en él.
-
Funciona por host.
shop.example.comyexample.comnecesitan cada uno su propio archivo en su propia raíz.
Cómo lee Google las reglas
Google documenta su lógica de coincidencia, y la pestaña Probar URL sigue los mismos pasos:
-
Elige el grupo. Un rastreador usa el grupo con el agente de usuario más específico que coincida con su token, sin distinguir mayúsculas y minúsculas. Googlebot-News usa un grupo
googlebot-newssi existe; de lo contrario,googlebot; y, si no,*. Varios grupos para el mismo rastreador se fusionan en uno. -
Haz coincidir la ruta. Las rutas distinguen entre mayúsculas y minúsculas y coinciden desde el principio, incluida la cadena de consulta.
*coincide con cualquier secuencia de caracteres y$marca el final de la URL./fish*equivale a/fish, y/*.php$coincide con/index.php, pero no con/index.php?id=1. - Gana la regla más larga. Entre las reglas coincidentes, decide la que tenga la ruta más larga. Si una regla Allow y una Disallow tienen la misma longitud, Google usa la menos restrictiva, es decir, Allow.
-
Un Disallow vacío no bloquea nada.
Disallow:sin una ruta significa que el grupo puede rastrearlo todo.
User-agent: * Disallow: /account/ Allow: /account/login
Aquí /account/orders está bloqueado, mientras que /account/login está permitido porque la regla Allow es más larga y específica.
Bloquear rastreadores de AI con robots.txt
Muchas empresas de AI publican tokens de agentes de usuario que puedes bloquear. No todos corresponden al mismo tipo de bot, y la diferencia importa:
- Rastreadores de entrenamiento. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent y Bytespider (ByteDance) recopilan páginas que pueden usarse para entrenar modelos. Bloquearlos solicita a estas empresas que no utilicen los rastreos futuros.
- Tokens de control. Google-Extended y Applebot-Extended no son rastreadores independientes. Google-Extended indica a Google que no use tu contenido para entrenar Gemini ni para fundamentar sus respuestas. No cambia la forma en que Googlebot rastrea, indexa o posiciona tus páginas en Google Search. Applebot-Extended te excluye del entrenamiento de modelos de Apple, mientras Applebot sigue rastreando para Siri y Spotlight.
- Búsquedas de AI y accesos de usuarios. OAI-SearchBot, Claude-SearchBot y PerplexityBot obtienen páginas para mostrarlas y citarlas en respuestas de AI. ChatGPT-User y Claude-User obtienen una página cuando una persona pide al asistente que la lea. Bloquearlos puede eliminar tus páginas de las respuestas y citas de AI, lo que a menudo representa tráfico que te interesa.
El ajuste predefinido de AI bloquea los rastreadores de entrenamiento y deja sin marcar los buscadores y los agentes de usuario para que tú decidas. robots.txt solo se aplica a rastreos futuros. No elimina el contenido que ya se haya recopilado.
robots.txt en Shopify y WordPress
Shopify genera robots.txt por ti y no puedes subir un archivo. Para cambiarlo, añade una robots.txt.liquid plantilla a tu tema (Tienda online -> Temas -> Editar código -> Añadir una nueva plantilla -> robots) y añade allí tus reglas. El ajuste predefinido con formato de Shopify de esta herramienta es similar al predeterminado de Shopify, por lo que puedes revisar y probar las reglas antes de editar la plantilla. /wp-admin/ pero permite /wp-admin/admin-ajax.php. Un archivo robots.txt real en la raíz del sitio lo reemplaza, y muchos plugins de SEO permiten editarlo desde el panel.
Errores comunes que detecta el validador
-
Noindexlíneas. Google dejó de admitirlas en robots.txt en 2019 y las ignora. - URL de sitemap relativas como
Sitemap: /sitemap.xml. La URL debe ser absoluta. - Reglas colocadas antes de cualquier
Agente de usuariolínea, que los rastreadores ignoran. - Rutas sin una barra inicial, URL completas en las reglas y rutas no ASCII que deberían codificarse con porcentajes.
-
Retraso de rastreo, que Google ignora. Bing y Yandex lo leen. - Archivos de más de 500 KiB. Google ignora todo lo que supera ese límite.
- Errores tipográficos como
No permitiry las directivas desconocidas.
Las reglas de rastreo son solo una parte del SEO técnico. Comprueba tus datos estructurados con el validador de marcado de esquema, redacta fragmentos de búsqueda con el generador de metadescripciones, analiza una página con el analizador de SEO con AI o explora todos los generadores y herramientas de AI gratuitos.
Preguntas frecuentes
¿Este generador de robots.txt es gratuito?
Sí. No es necesario registrarse y no hay límite. Todo se ejecuta en tu navegador, por lo que el robots.txt que creas, pegas o pruebas no se envía a ningún servidor.
¿Dónde coloco el archivo robots.txt?
En la raíz de cada host, de modo que se cargue en https://yourdomain.com/robots.txt. Un robots.txt en una subcarpeta se ignora. En Shopify, editas la plantilla de tema robots.txt.liquid en lugar de subir un archivo.
¿robots.txt evita que una página se indexe?
No. Controla el rastreo, no la indexación. Una página bloqueada aún puede indexarse a partir de enlaces, pero sin su contenido. Para mantener una página fuera de Google, permite el rastreo y añade una etiqueta meta robots noindex o un encabezado X-Robots-Tag.
¿Bloquear GPTBot o Google-Extended perjudicará mi posicionamiento en Google?
No. GPTBot es el rastreador de entrenamiento de OpenAI y no tiene nada que ver con Google Search. Google-Extended solo controla si Google usa tu contenido para el entrenamiento y la fundamentación de Gemini, no el rastreo ni la clasificación en Search. Sin embargo, bloquear bots de búsqueda de AI como OAI-SearchBot o PerplexityBot puede eliminar tus páginas de esas respuestas de AI.
¿Todos los bots obedecen robots.txt?
No. robots.txt es un estándar voluntario. Los principales motores de búsqueda y la mayoría de las empresas de AI dicen que lo siguen, pero los scrapers pueden ignorarlo. Usa inicios de sesión, reglas de firewall o límites de velocidad para cualquier cosa que deba permanecer privada.
