Kostenloses ToolLäuft in deinem Browser · ohne Anmeldung

// kostenloses Tool - robots.txt-Generator

Robots.txt-Generator Validieren und testen Sie sie ebenfalls

Erstellen Sie anhand von Voreinstellungen für Shopify, WordPress und AI-Crawler eine robots.txt-Datei, prüfen Sie sie Zeile für Zeile auf Fehler und testen Sie mit den Matching-Regeln von Google, ob eine URL für Googlebot, GPTBot oder einen anderen Bot erlaubt oder blockiert ist.

  • Kostenlos - keine Registrierung
  • Wird in Ihrem Browser ausgeführt
  • Voreinstellungen für AI-Crawler
  • Google-Matching-Regeln

Ihre robots.txt

Nichts wird irgendwohin gesendet. Die Ausgabe wird während der Eingabe aktualisiert.

Mit einer Voreinstellung beginnen

User-Agent-Gruppen
Zu blockierende AI-Crawler (0 ausgewählt)

Geprüfte Bots erhalten jeweils eine eigene Gruppe mit Disallow: /. robots.txt ist freiwillig: Regelkonforme Bots halten sich daran, Scraper, die sie ignorieren, werden nicht aufgehalten.

    robots.txt Bereit
    Prüfungen

      Gleiche URL, andere Bots

      User-agent Ergebnis Entschieden durch
      Über die Datei hinaus

      Eine saubere robots.txt ist ein Anfang. Technisches SEO ist der Rest.

      Crawling-Regeln sind ein Teil davon, wie Suchmaschinen und AI-Assistenten Ihre Website sehen. Diese AI-Spezialisten lassen sich in Claude, ChatGPT oder jeden AI-Chat integrieren und unterstützen Sie beim Rest: Audits, Indexierungsprobleme, Website-Struktur und Inhalte.

      Was ist eine robots.txt-Datei?

      Eine robots.txt-Datei ist eine reine Textdatei im Stammverzeichnis Ihrer Website, zum Beispiel https://example.com/robots.txt, die Crawlern mitteilt, welche Pfade sie abrufen dürfen. Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent Zeilen, in denen ein Crawler genannt wird, gefolgt von Allow und Disallow Regeln. Sitemap Zeilen verweisen Crawler auf Ihre XML-Sitemaps und können sich an beliebiger Stelle in der Datei befinden. Das Format ist als RFC 9309, dem Robots Exclusion Protocol, standardisiert, und Google, Bing sowie die meisten großen Crawler halten sich daran.

      Dieser robots.txt-Generator erstellt die Datei anhand von Voreinstellungen und einem einfachen Gruppen-Editor für Sie. Der robots.txt-Validator kennzeichnet Zeilen, die Crawler ignorieren oder falsch interpretieren, einschließlich der Zeilennummern. Der robots.txt-Tester zeigt Ihnen, ob eine URL für einen bestimmten Bot erlaubt oder blockiert ist, und nennt die genaue Zeile, die darüber entscheidet.

      Was robots.txt kann und nicht kann

      • Sie steuert das Crawling, nicht die Indexierung. Eine blockierte URL kann weiterhin in den Google-Ergebnissen erscheinen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Damit eine Seite nicht in der Suche erscheint, lassen Sie Crawler sie abrufen und fügen Sie ein noindex-Robots-Meta-Tag oder einen X-Robots-Tag-Header hinzu.
      • Sie ist freiwillig. Gutartige Crawler halten sich daran. Scraper, die sie ignorieren, werden nicht aufgehalten. Sie ist keine Zugriffskontrolle: Schützen Sie private Seiten mit einem Login.
      • Sie ist öffentlich. Jeder kann Ihre robots.txt öffnen. Listen Sie darin daher keine geheimen Pfade auf.
      • Es gilt pro Host. shop.example.com und example.com benötigen jeweils eine eigene Datei im jeweiligen Stammverzeichnis.

      So liest Google die Regeln

      Google dokumentiert seine Abgleichlogik, und der Tab „Test-URL“ folgt denselben Schritten:

      1. Die Gruppe auswählen. Ein Crawler verwendet die Gruppe mit dem spezifischsten User-Agent, der ohne Berücksichtigung der Groß- und Kleinschreibung zu seinem Token passt. Googlebot-News verwendet eine googlebot-news-Gruppe, falls vorhanden, andernfalls googlebot und danach *. Mehrere Gruppen für denselben Crawler werden zu einer zusammengeführt.
      2. Den Pfad abgleichen. Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden, und sie werden ab dem Anfang einschließlich der Abfragezeichenfolge abgeglichen. * entspricht einer beliebigen Zeichenfolge, und $ markiert das Ende der URL. /fish* entspricht /fish, und /*.php$ entspricht /index.php, aber nicht /index.php?id=1.
      3. Die längste Regel gewinnt. Unter den übereinstimmenden Regeln entscheidet die Regel mit dem längsten Pfad. Wenn eine Allow- und eine Disallow-Regel gleich lang sind, verwendet Google die am wenigsten restriktive Regel, also Allow.
      4. Ein leeres Disallow blockiert nichts. Disallow: ohne Pfad bedeutet, dass die Gruppe alles crawlen darf.
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      Hier /account/orders ist blockiert, während /account/login ist zulässig, weil die Allow-Regel länger und spezifischer ist.

      AI-Crawler mit robots.txt blockieren

      Viele AI-Unternehmen veröffentlichen User-Agent-Tokens, die Sie blockieren können. Sie sind nicht alle dieselbe Art von Bot, und der Unterschied ist wichtig:

      • Trainings-Crawler. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent und Bytespider (ByteDance) erfassen Seiten, die zum Trainieren von Modellen verwendet werden können. Wenn Sie diese blockieren, fordern Sie die betreffenden Unternehmen auf, zukünftige Crawls nicht zu verwenden.
      • Steuerungs-Tokens. Google-Extended und Applebot-Extended sind keine separaten Crawler. Google-Extended weist Google an, Ihre Inhalte nicht für das Training und die Grounding-Funktion von Gemini zu verwenden. Dadurch ändert sich nicht, wie Googlebot Ihre Seiten für die Google-Suche crawlt, indexiert oder bewertet. Mit Applebot-Extended können Sie sich vom Modelltraining durch Apple abmelden, während Applebot weiterhin für Siri und Spotlight crawlt.
      • AI-Suchen und Benutzerabrufe. OAI-SearchBot, Claude-SearchBot und PerplexityBot rufen Seiten ab, damit sie diese in AI-Antworten anzeigen und zitieren können. ChatGPT-User und Claude-User rufen eine Seite ab, wenn eine Person den Assistenten bittet, sie zu lesen. Wenn Sie diese blockieren, können Ihre Seiten aus AI-Antworten und -Zitaten verschwinden - dabei handelt es sich oft um Traffic, den Sie möchten.

      Das AI-Preset blockiert Trainings-Crawler und lässt Such- und User-Agents ungeprüft, damit Sie entscheiden können. robots.txt gilt nur für zukünftige Crawls. Bereits erfasste Inhalte werden dadurch nicht entfernt.

      robots.txt auf Shopify und WordPress hinzu

      Shopify generiert die robots.txt für Sie, und Sie können keine Datei hochladen. Um sie zu ändern, fügen Sie eine robots.txt.liquid Fügen Sie die Vorlage zu Ihrem Theme hinzu (Online Store -> Themes -> Edit code -> Add a new template -> robots) und fügen Sie Ihre Regeln dort hinzu. Das Shopify-ähnliche Preset in diesem Tool ähnelt dem Standard von Shopify, sodass Sie Regeln überprüfen und testen können, bevor Sie die Vorlage bearbeiten. WordPress stellt eine virtuelle robots.txt bereit, die /wp-admin/ aber /wp-admin/admin-ajax.php. Eine echte robots.txt-Datei im Stammverzeichnis der Website ersetzt diese, und viele SEO-Plugins ermöglichen die Bearbeitung über das Dashboard.

      Häufige Fehler, die der Validator erkennt

      • Noindex Zeilen. Google unterstützt sie seit 2019 nicht mehr in robots.txt und ignoriert sie.
      • Relative Sitemap-URLs wie Sitemap: /sitemap.xmlplatziert werden. Die URL muss absolut sein.
      • Regeln, die vor einem User-agent Zeile, die Crawler ignorieren.
      • Pfade ohne führenden Schrägstrich, vollständige URLs in Regeln und Nicht-ASCII-Pfade, die percentkodiert werden sollten.
      • Crawl-delay, das Google ignoriert. Bing und Yandex lesen es.
      • Dateien, die größer als 500 KiB sind. Google ignoriert alles, was hinter diesem Limit steht.
      • Tippfehler wie Nicht erlauben und unbekannte Direktiven.

      Crawling-Regeln sind nur ein Teil der technischen SEO. Überprüfen Sie Ihre strukturierten Daten mit dem Validator für Schema-Markup, erstellen Sie Such-Snippets mit dem Generator für Meta-Beschreibungen, prüfen Sie eine Seite mit dem AI-SEO-Analyzer oder sehen Sie sich alle kostenlosen AI-Generatoren und Tools an.

      FAQ

      Ist dieser robots.txt-Generator kostenlos?

      Ja. Es gibt keine Anmeldung und kein Limit. Alles läuft in Ihrem Browser, daher wird die robots.txt, die Sie erstellen, einfügen oder testen, nicht an einen Server gesendet.

      Wo platziere ich die robots.txt-Datei?

      Im Stammverzeichnis jedes Hosts, sodass sie unter https://yourdomain.com/robots.txt geladen wird. Eine robots.txt in einem Unterordner wird ignoriert. Auf Shopify bearbeiten Sie stattdessen die Theme-Vorlage robots.txt.liquid, anstatt eine Datei hochzuladen.

      Verhindert robots.txt, dass eine Seite indexiert wird?

      Nein. Damit wird das Crawling gesteuert, nicht die Indexierung. Eine blockierte Seite kann weiterhin über Links indexiert werden, jedoch ohne ihren Inhalt. Damit eine Seite aus Google herausgehalten wird, erlauben Sie das Crawling und fügen Sie ein Noindex-Robots-Meta-Tag oder einen X-Robots-Tag-Header hinzu.

      Schadet das Blockieren von GPTBot oder Google-Extended meinem Google-Ranking?

      Nein. GPTBot ist der Trainings-Crawler von OpenAI und hat nichts mit der Google-Suche zu tun. Google-Extended steuert nur, ob Google Ihre Inhalte für das Training und die Grounding-Funktion von Gemini verwendet, nicht das Crawling oder Ranking in der Suche. Wenn Sie AI-Such-Bots wie OAI-SearchBot oder PerplexityBot blockieren, können Ihre Seiten allerdings aus diesen AI-Antworten verschwinden.

      Befolgen alle Bots robots.txt?

      Nein. robots.txt ist ein freiwilliger Standard. Große Suchmaschinen und die meisten AI-Unternehmen geben an, ihn zu befolgen, aber Scraper können ihn ignorieren. Verwenden Sie Logins, Firewall-Regeln oder Ratenbegrenzungen für alles, was privat bleiben muss.

      Dein Ergebnis

      Kopieren oder in deiner KI ausführen

      In deiner KI öffnen

      Claude

      Der KI-Chat von Anthropic, im Web, am Desktop und auf dem Handy · ca. 3 min.

      Funktioniert mit jedem Claude-Plan, auch Free.

      • Team- oder Enterprise-Plan: Der Workspace-Owner fügt ihn einmal in den Organisationseinstellungen hinzu, danach klickt jeder auf Connect.
      • Passiert nichts, wenn du auf Connect klickst? Erlaube Pop-ups für claude.ai und versuche es erneut.

      Auf dem Handy? Richte es einmal am Computer ein. Danach erscheint es von selbst in der Claude-Handy-App. Schick mir den Link per E-Mail

      Nach dem Kauf einer Datei
      1. Lade deine .skill-Datei aus der Bestell-E-Mail oder aus deinem Konto herunter.

      2. Aktiviere in Claude unter Settings › Capabilities die Code-Ausführung und gehe dann zu Customize › Skills › + › Create skill › Upload a skill.

      3. Starte einen neuen Chat und frag mit Namen nach dem Spezialisten.

      Ganze Anleitung öffnen

      All-in-one

      Alles, $6.99/Monat

      Dieses Tool bleibt kostenlos. All-in-one schaltet Downloads, Drucken und Teilen bei jedem anderen Generator frei, dazu jeden Skill in deiner KI.

      Das bekommst du mit All-in-one

      • Jeder GeneratorNichts gesperrt: Herunterladen, Drucken und Teilen bei jedem Tool der Seite.
      • 2.500+ Skills in deiner KIFrag in Claude und ChatGPT jeden Experten beim Namen.
      • CRM-BoardDeine KI führt deine Kunden und Aufgaben auf einem Board.
      • Ein Link, jede KIEinmal in Claude oder ChatGPT einrichten, dann einfach fragen.
      Abonnieren · $6.99/Monat 7 Tage gratis mit Karte · jederzeit kündbar
      Du brauchst nur SEO-Spezialist AI Skill?
      · Details

      All-in-onewarum Leute upgraden

      Dieses Tool ist kostenlos.
      All-in-one macht es zu deinem, plus 124 weitere.

      Erstelle es hier kostenlos. Mit dem Abo behältst du es: exportieren, drucken, teilen, speichern, dazu jeder andere Generator und 2.500+ Skills für deine KI.

      Was Kostenloser Robots.txt-Generator freischaltet

      • TXT · JSON herunterladen
      • Link teilen
      • Speichern und Verlauf
      All-in-one

      $6.99/ Monat

      oder $49/Jahr ($4.08/Monat, 42 % gespart) · 7 Tage gratis mit Karte

      7 Tage kostenlos testen →

      Jederzeit kündbar. 7 Tage lang wird nichts abgebucht.

      • 125 Generatoren mit jedem Export freigeschaltet
      • 2.500+ Skills in Claude und ChatGPT
      • CRM-Board, das jedes Ergebnis behält
      • Deine KI, verbunden: einmal einrichten, überall nutzen

      Brauchst du nur eine Skill-Datei?$9 einmalig

      125 Generatoren, alle freigeschaltet

      Alle 125 ansehen →
      2.500+ Skills

      Fertige Experten für Finanzen, Recht, Marketing, HR und mehr, direkt in der KI, die du schon nutzt.

      CRM-Board

      Jedes Ergebnis landet auf deinem Board: finden, wiederverwenden, mit dem Team teilen.

      Deine KI, verbunden

      Verbinde Claude oder ChatGPT einmal und nutze jeden Generator und Skill direkt im Chat.

      Weitere kostenlose Entwickler-Tools

      Alle kostenlosen Tools →