Qu'est-ce qu'un fichier robots.txt ?
Un fichier robots.txt est un fichier texte brut situé à la racine de votre site, par exemple https://example.com/robots.txt, qui indique aux robots quels chemins ils peuvent explorer. Le fichier est composé de groupes. Chaque groupe commence par une ou plusieurs User-agent lignes qui désignent un robot, suivies de Autoriser et Interdire règles. Sitemap Les lignes Sitemap indiquent aux robots où trouver vos sitemaps XML et peuvent se trouver n'importe où dans le fichier. Le format est normalisé par la RFC 9309, le protocole d'exclusion des robots, et Google, Bing et la plupart des grands robots le respectent.
Ce générateur de robots.txt crée le fichier pour vous à partir de préréglages et d'un éditeur de groupes simple. Le validateur robots.txt signale les lignes que les robots ignoreront ou interpréteront mal, avec leur numéro. Le testeur robots.txt vous indique si une URL est autorisée ou bloquée pour un robot donné et affiche la ligne exacte qui en a décidé.
Ce que robots.txt peut et ne peut pas faire
-
Il contrôle l'exploration, pas l'indexation. Une URL bloquée peut tout de même apparaître dans les résultats Google, sans description, si d'autres pages y renvoient. Pour exclure une page des résultats de recherche, laissez les robots l'explorer et ajoutez une balise meta robots
noindexou un en-têteX-Robots-Tag. - Le respect est volontaire. Les robots d’exploration bienveillants le suivent. Les robots qui l’ignorent ne sont pas arrêtés. Ce n’est pas un contrôle d’accès : protégez les pages privées avec une connexion.
- Le fichier est public. N’importe qui peut ouvrir votre fichier robots.txt ; n’y indiquez donc pas de chemins secrets.
-
Le fonctionnement est propre à chaque hôte.
shop.example.cometexample.comdoivent chacun avoir leur propre fichier à leur propre racine.
Comment Google lit les règles
Google documente sa logique de correspondance, et l’onglet Tester l’URL suit les mêmes étapes :
-
Choisissez le groupe. Un robot d’exploration utilise le groupe associé à l’agent utilisateur le plus spécifique qui correspond à son jeton, sans distinction de casse. Googlebot-News utilise un groupe
googlebot-newss’il en existe un, sinongooglebot, et sinon*. Plusieurs groupes pour un même robot d’exploration sont fusionnés en un seul. -
Faites correspondre le chemin. Les chemins sont sensibles à la casse et correspondent depuis le début, y compris la chaîne de requête.
*correspond à toute suite de caractères et$marque la fin de l’URL./fish*signifie la même chose que/fish, et/*.php$correspond à/index.php, mais pas à/index.php?id=1. - La règle la plus longue l’emporte. Parmi les règles correspondantes, celle dont le chemin est le plus long décide. Si une règle Allow et une règle Disallow ont la même longueur, Google utilise la moins restrictive, c’est-à-dire Allow.
-
Un champ Disallow vide ne bloque rien.
Disallow:sans chemin signifie que le groupe peut tout explorer.
User-agent: * Disallow: /account/ Allow: /account/login
Ici /account/orders est bloqué, tandis que /account/login est autorisé, car la règle Allow est plus longue et plus spécifique.
Bloquer les robots d’exploration AI avec robots.txt
De nombreuses entreprises d’AI publient des jetons d’agent utilisateur que vous pouvez bloquer. Ils ne correspondent pas tous au même type de robot, et cette différence est importante :
- Robots d’exploration destinés à l’entraînement. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent et Bytespider (ByteDance) collectent des pages susceptibles d’être utilisées pour entraîner des modèles. Les bloquer demande à ces entreprises de ne pas utiliser les futures explorations.
- Jetons de contrôle. Google-Extended et Applebot-Extended ne sont pas des robots d’exploration distincts. Google-Extended indique à Google de ne pas utiliser votre contenu pour l’entraînement et l’ancrage de Gemini. Cela ne change pas la façon dont Googlebot explore, indexe ou classe vos pages dans Google Search. Applebot-Extended vous désinscrit de l’entraînement des modèles d’Apple, tandis qu’Applebot continue d’explorer le contenu pour Siri et Spotlight.
- Recherches AI et récupérations effectuées par les utilisateurs. OAI-SearchBot, Claude-SearchBot et PerplexityBot récupèrent des pages afin de les afficher et de les citer dans les réponses AI. ChatGPT-User et Claude-User récupèrent une page lorsqu’une personne demande à l’assistant de la lire. Les bloquer peut exclure vos pages des réponses et des citations AI, qui génèrent souvent le trafic que vous recherchez.
Le préréglage AI bloque les robots d’exploration destinés à l’entraînement et laisse les robots de recherche et les agents utilisateur décochés afin que vous puissiez décider. Le fichier robots.txt ne s’applique qu’aux explorations futures. Il ne supprime pas le contenu déjà collecté.
robots.txt sur Shopify et WordPress
Shopify génère votre fichier robots.txt et vous ne pouvez pas importer de fichier. Pour le modifier, ajoutez un robots.txt.liquid modèle à votre thème (Online Store -> Themes -> Edit code -> Add a new template -> robots) et ajoutez-y vos règles. Le préréglage de style Shopify de cet outil est similaire à celui par défaut de Shopify, ce qui vous permet de vérifier et de tester les règles avant de modifier le modèle. WordPress sert un fichier robots.txt virtuel qui interdit /wp-admin/ mais autorise /wp-admin/admin-ajax.php. Un véritable fichier robots.txt placé à la racine du site le remplace, et de nombreux plugins SEO permettent de le modifier depuis le tableau de bord.
Erreurs courantes détectées par le validateur
-
Noindexlignes. Google a cessé de les prendre en charge dans robots.txt en 2019 et les ignore. - Les URL de sitemap relatives telles que
Sitemap: /sitemap.xml. L’URL doit être absolue. - Les règles placées avant tout
User-agentligne, que les robots d’exploration ignorent. - Les chemins sans barre oblique initiale, les URL complètes dans les règles et les chemins non ASCII qui devraient être encodés en pourcentage.
-
Crawl-delay, que Google ignore. Bing et Yandex les lisent. - Les fichiers de plus de 500 KiB. Google ignore tout ce qui dépasse cette limite.
- Des fautes de frappe telles que
Dissallowet les directives inconnues.
Les règles d’exploration ne sont qu’une partie du SEO technique. Vérifiez vos données structurées avec le validateur de balisage de schéma, rédigez des extraits de recherche avec le générateur de meta descriptions, analysez une page avec l’analyseur SEO AI ou parcourez tous les générateurs et outils AI gratuits.
FAQ
Ce générateur de robots.txt est-il gratuit ?
Oui. Il n’y a aucune inscription ni aucune limite. Tout s’exécute dans votre navigateur, donc le fichier robots.txt que vous créez, collez ou testez n’est envoyé à aucun serveur.
Où dois-je placer le fichier robots.txt ?
À la racine de chaque hôte, afin qu’il soit accessible à l’adresse https://yourdomain.com/robots.txt. Un fichier robots.txt placé dans un sous-dossier est ignoré. Sur Shopify, vous modifiez le modèle de thème robots.txt.liquid au lieu d’importer un fichier.
Le fichier robots.txt empêche-t-il l’indexation d’une page ?
Non. Il contrôle l’exploration, pas l’indexation. Une page bloquée peut tout de même être indexée à partir de liens, mais sans son contenu. Pour empêcher une page d’apparaître dans Google, autorisez l’exploration et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag.
Le blocage de GPTBot ou de Google-Extended nuira-t-il à mon classement dans Google ?
Non. GPTBot est le robot d’exploration d’OpenAI destiné à l’entraînement et n’a rien à voir avec Google Search. Google-Extended contrôle uniquement l’utilisation de votre contenu par Google pour l’entraînement et l’ancrage de Gemini, pas l’exploration ni le classement dans Search. En revanche, bloquer les robots de recherche AI tels que OAI-SearchBot ou PerplexityBot peut supprimer vos pages de ces réponses AI.
Tous les robots respectent-ils robots.txt ?
Non. Le fichier robots.txt est une norme volontaire. Les principaux moteurs de recherche et la plupart des entreprises d’AI indiquent la respecter, mais les robots d’exploration peuvent l’ignorer. Utilisez des connexions, des règles de pare-feu ou des limites de débit pour tout ce qui doit rester privé.