Outil gratuitFonctionne dans ton navigateur · sans inscription

// outil gratuit - générateur de robots.txt

Générateur de robots.txt Validez-le et testez-le aussi

Créez un fichier robots.txt à partir de préréglages pour Shopify, WordPress et les robots AI, vérifiez-le ligne par ligne pour repérer les erreurs et testez si une URL est autorisée ou bloquée pour Googlebot, GPTBot ou tout autre robot, en utilisant les règles de correspondance de Google.

  • Gratuit - sans inscription
  • S'exécute dans votre navigateur
  • Préréglages de robots AI
  • Règles de correspondance Google

Votre robots.txt

Rien n'est envoyé nulle part. Le résultat se met à jour au fur et à mesure de votre saisie.

Commencer avec un préréglage

Groupes User-agent
Robots AI à bloquer (0 sélectionnés)

Les robots vérifiés ont leur propre groupe avec Disallow: /. robots.txt est volontaire : les robots respectueux le suivent, mais il n'arrête pas les scrapers qui l'ignorent.

    robots.txt Prêt
    Vérifications

      Même URL, autres robots

      User-agent Résultat Décidé par
      Allez au-delà du fichier

      Un fichier robots.txt propre est un début. Le SEO technique, c'est le reste.

      Les règles d'exploration ne sont qu'un aspect de la façon dont les moteurs de recherche et les assistants AI voient votre site. Ces spécialistes AI s'intègrent à Claude, ChatGPT ou à n'importe quel chat AI et vous aident pour le reste : audits, problèmes d'indexation, structure du site et contenu.

      Qu'est-ce qu'un fichier robots.txt ?

      Un fichier robots.txt est un fichier texte brut situé à la racine de votre site, par exemple https://example.com/robots.txt, qui indique aux robots quels chemins ils peuvent explorer. Le fichier est composé de groupes. Chaque groupe commence par une ou plusieurs User-agent lignes qui désignent un robot, suivies de Autoriser et Interdire règles. Sitemap Les lignes Sitemap indiquent aux robots où trouver vos sitemaps XML et peuvent se trouver n'importe où dans le fichier. Le format est normalisé par la RFC 9309, le protocole d'exclusion des robots, et Google, Bing et la plupart des grands robots le respectent.

      Ce générateur de robots.txt crée le fichier pour vous à partir de préréglages et d'un éditeur de groupes simple. Le validateur robots.txt signale les lignes que les robots ignoreront ou interpréteront mal, avec leur numéro. Le testeur robots.txt vous indique si une URL est autorisée ou bloquée pour un robot donné et affiche la ligne exacte qui en a décidé.

      Ce que robots.txt peut et ne peut pas faire

      • Il contrôle l'exploration, pas l'indexation. Une URL bloquée peut tout de même apparaître dans les résultats Google, sans description, si d'autres pages y renvoient. Pour exclure une page des résultats de recherche, laissez les robots l'explorer et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag.
      • Le respect est volontaire. Les robots d’exploration bienveillants le suivent. Les robots qui l’ignorent ne sont pas arrêtés. Ce n’est pas un contrôle d’accès : protégez les pages privées avec une connexion.
      • Le fichier est public. N’importe qui peut ouvrir votre fichier robots.txt ; n’y indiquez donc pas de chemins secrets.
      • Le fonctionnement est propre à chaque hôte. shop.example.com et example.com doivent chacun avoir leur propre fichier à leur propre racine.

      Comment Google lit les règles

      Google documente sa logique de correspondance, et l’onglet Tester l’URL suit les mêmes étapes :

      1. Choisissez le groupe. Un robot d’exploration utilise le groupe associé à l’agent utilisateur le plus spécifique qui correspond à son jeton, sans distinction de casse. Googlebot-News utilise un groupe googlebot-news s’il en existe un, sinon googlebot, et sinon *. Plusieurs groupes pour un même robot d’exploration sont fusionnés en un seul.
      2. Faites correspondre le chemin. Les chemins sont sensibles à la casse et correspondent depuis le début, y compris la chaîne de requête. * correspond à toute suite de caractères et $ marque la fin de l’URL. /fish* signifie la même chose que /fish, et /*.php$ correspond à /index.php, mais pas à /index.php?id=1.
      3. La règle la plus longue l’emporte. Parmi les règles correspondantes, celle dont le chemin est le plus long décide. Si une règle Allow et une règle Disallow ont la même longueur, Google utilise la moins restrictive, c’est-à-dire Allow.
      4. Un champ Disallow vide ne bloque rien. Disallow: sans chemin signifie que le groupe peut tout explorer.
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      Ici /account/orders est bloqué, tandis que /account/login est autorisé, car la règle Allow est plus longue et plus spécifique.

      Bloquer les robots d’exploration AI avec robots.txt

      De nombreuses entreprises d’AI publient des jetons d’agent utilisateur que vous pouvez bloquer. Ils ne correspondent pas tous au même type de robot, et cette différence est importante :

      • Robots d’exploration destinés à l’entraînement. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent et Bytespider (ByteDance) collectent des pages susceptibles d’être utilisées pour entraîner des modèles. Les bloquer demande à ces entreprises de ne pas utiliser les futures explorations.
      • Jetons de contrôle. Google-Extended et Applebot-Extended ne sont pas des robots d’exploration distincts. Google-Extended indique à Google de ne pas utiliser votre contenu pour l’entraînement et l’ancrage de Gemini. Cela ne change pas la façon dont Googlebot explore, indexe ou classe vos pages dans Google Search. Applebot-Extended vous désinscrit de l’entraînement des modèles d’Apple, tandis qu’Applebot continue d’explorer le contenu pour Siri et Spotlight.
      • Recherches AI et récupérations effectuées par les utilisateurs. OAI-SearchBot, Claude-SearchBot et PerplexityBot récupèrent des pages afin de les afficher et de les citer dans les réponses AI. ChatGPT-User et Claude-User récupèrent une page lorsqu’une personne demande à l’assistant de la lire. Les bloquer peut exclure vos pages des réponses et des citations AI, qui génèrent souvent le trafic que vous recherchez.

      Le préréglage AI bloque les robots d’exploration destinés à l’entraînement et laisse les robots de recherche et les agents utilisateur décochés afin que vous puissiez décider. Le fichier robots.txt ne s’applique qu’aux explorations futures. Il ne supprime pas le contenu déjà collecté.

      robots.txt sur Shopify et WordPress

      Shopify génère votre fichier robots.txt et vous ne pouvez pas importer de fichier. Pour le modifier, ajoutez un robots.txt.liquid modèle à votre thème (Online Store -> Themes -> Edit code -> Add a new template -> robots) et ajoutez-y vos règles. Le préréglage de style Shopify de cet outil est similaire à celui par défaut de Shopify, ce qui vous permet de vérifier et de tester les règles avant de modifier le modèle. WordPress sert un fichier robots.txt virtuel qui interdit /wp-admin/ mais autorise /wp-admin/admin-ajax.php. Un véritable fichier robots.txt placé à la racine du site le remplace, et de nombreux plugins SEO permettent de le modifier depuis le tableau de bord.

      Erreurs courantes détectées par le validateur

      • Noindex lignes. Google a cessé de les prendre en charge dans robots.txt en 2019 et les ignore.
      • Les URL de sitemap relatives telles que Sitemap: /sitemap.xml. L’URL doit être absolue.
      • Les règles placées avant tout User-agent ligne, que les robots d’exploration ignorent.
      • Les chemins sans barre oblique initiale, les URL complètes dans les règles et les chemins non ASCII qui devraient être encodés en pourcentage.
      • Crawl-delay, que Google ignore. Bing et Yandex les lisent.
      • Les fichiers de plus de 500 KiB. Google ignore tout ce qui dépasse cette limite.
      • Des fautes de frappe telles que Dissallow et les directives inconnues.

      Les règles d’exploration ne sont qu’une partie du SEO technique. Vérifiez vos données structurées avec le validateur de balisage de schéma, rédigez des extraits de recherche avec le générateur de meta descriptions, analysez une page avec l’analyseur SEO AI ou parcourez tous les générateurs et outils AI gratuits.

      FAQ

      Ce générateur de robots.txt est-il gratuit ?

      Oui. Il n’y a aucune inscription ni aucune limite. Tout s’exécute dans votre navigateur, donc le fichier robots.txt que vous créez, collez ou testez n’est envoyé à aucun serveur.

      Où dois-je placer le fichier robots.txt ?

      À la racine de chaque hôte, afin qu’il soit accessible à l’adresse https://yourdomain.com/robots.txt. Un fichier robots.txt placé dans un sous-dossier est ignoré. Sur Shopify, vous modifiez le modèle de thème robots.txt.liquid au lieu d’importer un fichier.

      Le fichier robots.txt empêche-t-il l’indexation d’une page ?

      Non. Il contrôle l’exploration, pas l’indexation. Une page bloquée peut tout de même être indexée à partir de liens, mais sans son contenu. Pour empêcher une page d’apparaître dans Google, autorisez l’exploration et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag.

      Le blocage de GPTBot ou de Google-Extended nuira-t-il à mon classement dans Google ?

      Non. GPTBot est le robot d’exploration d’OpenAI destiné à l’entraînement et n’a rien à voir avec Google Search. Google-Extended contrôle uniquement l’utilisation de votre contenu par Google pour l’entraînement et l’ancrage de Gemini, pas l’exploration ni le classement dans Search. En revanche, bloquer les robots de recherche AI tels que OAI-SearchBot ou PerplexityBot peut supprimer vos pages de ces réponses AI.

      Tous les robots respectent-ils robots.txt ?

      Non. Le fichier robots.txt est une norme volontaire. Les principaux moteurs de recherche et la plupart des entreprises d’AI indiquent la respecter, mais les robots d’exploration peuvent l’ignorer. Utilisez des connexions, des règles de pare-feu ou des limites de débit pour tout ce qui doit rester privé.

      Ton résultat

      Copie-le, ou lance-le dans ton IA

      L’ouvrir dans votre IA

      Claude

      Le chat IA d’Anthropic, sur le web, sur ordinateur et sur mobile · environ 3 minutes

      Fonctionne avec tous les plans Claude, Free compris.

      • Plan Team ou Enterprise : le propriétaire de l’espace de travail l’ajoute une fois dans Organization settings, puis chacun clique sur Connect.
      • Rien ne se passe quand vous cliquez sur Connect ? Autorisez les pop-ups pour claude.ai et réessayez.

      Sur mobile ? Configurez-le une fois sur un ordinateur. Il apparaît ensuite tout seul dans l’appli mobile Claude. Envoyez-moi le lien par e-mail

      Après l’achat d’un fichier
      1. Téléchargez votre fichier .skill depuis l’e-mail de commande ou votre compte.

      2. Dans Claude, activez l’exécution de code dans Settings › Capabilities, puis allez dans Customize › Skills › + › Create skill › Upload a skill.

      3. Ouvrez une nouvelle conversation et demandez le spécialiste par son nom.

      All-in-one

      Tout, $6.99/mois

      Cet outil reste gratuit. All-in-one débloque les téléchargements, l’impression et les liens de partage sur tous les autres générateurs, ainsi que chaque Skill dans votre IA.

      Ce que vous obtenez avec All-in-one

      • Chaque générateurRien de verrouillé : téléchargez, imprimez et partagez depuis n’importe quel outil du site.
      • 2 500+ Skills dans votre IADemandez n’importe quel expert par son nom dans Claude et ChatGPT.
      • Tableau CRMVotre IA gère vos clients et vos tâches sur un seul tableau.
      • Un lien, toutes les IAÀ configurer une seule fois dans Claude ou ChatGPT, puis il suffit de demander.
      S’abonner · $6.99/mois 7 jours gratuits avec carte · résiliable à tout moment
      Il ne vous faut que Skill IA de spécialiste SEO ?
      · Détails

      All-in-onepourquoi on passe à l'abonnement

      Cet outil est gratuit.
      All-in-one le rend vôtre, et 124 autres.

      Créez-le ici gratuitement. Abonnez-vous et gardez-le : exportez, imprimez, partagez, enregistrez, plus tous les autres générateurs et 2 500+ skills pour votre IA.

      Ce que Générateur gratuit de fichiers robots.txt débloque

      • Télécharger TXT · JSON
      • Partager le lien
      • Enregistrer et historique
      All-in-one

      $6.99/ mois

      ou $49/an ($4.08/mois, 42 % d'économie) · 7 jours gratuits avec carte

      Commencer mon essai gratuit de 7 jours →

      Résiliable à tout moment. Rien n'est débité pendant 7 jours.

      • 125 générateurs avec tous les exports
      • 2 500+ skills dans Claude et ChatGPT
      • Tableau CRM qui garde chaque résultat
      • Votre IA, connectée une fois, partout

      Besoin d'un seul fichier de skill ?$9 une fois

      125 générateurs, tous débloqués

      Voir les 125 →
      2 500+ skills

      Des experts prêts à l'emploi pour la finance, le juridique, le marketing, les RH et plus, dans l'IA que vous utilisez déjà.

      Tableau CRM

      Chaque résultat arrive sur votre tableau : retrouvez-le, réutilisez-le, partagez-le avec votre équipe.

      Votre IA, connectée

      Connectez Claude ou ChatGPT une fois et lancez chaque générateur et skill depuis le chat.

      Plus d’outils développeur gratuits

      Tous les outils gratuits →