Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine reine Textdatei im Stammverzeichnis Ihrer Website, zum Beispiel https://example.com/robots.txt, die Crawlern mitteilt, welche Pfade sie abrufen dürfen. Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent Zeilen, in denen ein Crawler genannt wird, gefolgt von Allow und Disallow Regeln. Sitemap Zeilen verweisen Crawler auf Ihre XML-Sitemaps und können sich an beliebiger Stelle in der Datei befinden. Das Format ist als RFC 9309, dem Robots Exclusion Protocol, standardisiert, und Google, Bing sowie die meisten großen Crawler halten sich daran.
Dieser robots.txt-Generator erstellt die Datei anhand von Voreinstellungen und einem einfachen Gruppen-Editor für Sie. Der robots.txt-Validator kennzeichnet Zeilen, die Crawler ignorieren oder falsch interpretieren, einschließlich der Zeilennummern. Der robots.txt-Tester zeigt Ihnen, ob eine URL für einen bestimmten Bot erlaubt oder blockiert ist, und nennt die genaue Zeile, die darüber entscheidet.
Was robots.txt kann und nicht kann
-
Sie steuert das Crawling, nicht die Indexierung. Eine blockierte URL kann weiterhin in den Google-Ergebnissen erscheinen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Damit eine Seite nicht in der Suche erscheint, lassen Sie Crawler sie abrufen und fügen Sie ein
noindex-Robots-Meta-Tag oder einenX-Robots-Tag-Header hinzu. - Sie ist freiwillig. Gutartige Crawler halten sich daran. Scraper, die sie ignorieren, werden nicht aufgehalten. Sie ist keine Zugriffskontrolle: Schützen Sie private Seiten mit einem Login.
- Sie ist öffentlich. Jeder kann Ihre robots.txt öffnen. Listen Sie darin daher keine geheimen Pfade auf.
-
Es gilt pro Host.
shop.example.comundexample.combenötigen jeweils eine eigene Datei im jeweiligen Stammverzeichnis.
So liest Google die Regeln
Google dokumentiert seine Abgleichlogik, und der Tab „Test-URL“ folgt denselben Schritten:
-
Die Gruppe auswählen. Ein Crawler verwendet die Gruppe mit dem spezifischsten User-Agent, der ohne Berücksichtigung der Groß- und Kleinschreibung zu seinem Token passt. Googlebot-News verwendet eine
googlebot-news-Gruppe, falls vorhanden, andernfallsgooglebotund danach*. Mehrere Gruppen für denselben Crawler werden zu einer zusammengeführt. -
Den Pfad abgleichen. Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden, und sie werden ab dem Anfang einschließlich der Abfragezeichenfolge abgeglichen.
*entspricht einer beliebigen Zeichenfolge, und$markiert das Ende der URL./fish*entspricht/fish, und/*.php$entspricht/index.php, aber nicht/index.php?id=1. - Die längste Regel gewinnt. Unter den übereinstimmenden Regeln entscheidet die Regel mit dem längsten Pfad. Wenn eine Allow- und eine Disallow-Regel gleich lang sind, verwendet Google die am wenigsten restriktive Regel, also Allow.
-
Ein leeres Disallow blockiert nichts.
Disallow:ohne Pfad bedeutet, dass die Gruppe alles crawlen darf.
User-agent: * Disallow: /account/ Allow: /account/login
Hier /account/orders ist blockiert, während /account/login ist zulässig, weil die Allow-Regel länger und spezifischer ist.
AI-Crawler mit robots.txt blockieren
Viele AI-Unternehmen veröffentlichen User-Agent-Tokens, die Sie blockieren können. Sie sind nicht alle dieselbe Art von Bot, und der Unterschied ist wichtig:
- Trainings-Crawler. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent und Bytespider (ByteDance) erfassen Seiten, die zum Trainieren von Modellen verwendet werden können. Wenn Sie diese blockieren, fordern Sie die betreffenden Unternehmen auf, zukünftige Crawls nicht zu verwenden.
- Steuerungs-Tokens. Google-Extended und Applebot-Extended sind keine separaten Crawler. Google-Extended weist Google an, Ihre Inhalte nicht für das Training und die Grounding-Funktion von Gemini zu verwenden. Dadurch ändert sich nicht, wie Googlebot Ihre Seiten für die Google-Suche crawlt, indexiert oder bewertet. Mit Applebot-Extended können Sie sich vom Modelltraining durch Apple abmelden, während Applebot weiterhin für Siri und Spotlight crawlt.
- AI-Suchen und Benutzerabrufe. OAI-SearchBot, Claude-SearchBot und PerplexityBot rufen Seiten ab, damit sie diese in AI-Antworten anzeigen und zitieren können. ChatGPT-User und Claude-User rufen eine Seite ab, wenn eine Person den Assistenten bittet, sie zu lesen. Wenn Sie diese blockieren, können Ihre Seiten aus AI-Antworten und -Zitaten verschwinden - dabei handelt es sich oft um Traffic, den Sie möchten.
Das AI-Preset blockiert Trainings-Crawler und lässt Such- und User-Agents ungeprüft, damit Sie entscheiden können. robots.txt gilt nur für zukünftige Crawls. Bereits erfasste Inhalte werden dadurch nicht entfernt.
robots.txt auf Shopify und WordPress hinzu
Shopify generiert die robots.txt für Sie, und Sie können keine Datei hochladen. Um sie zu ändern, fügen Sie eine robots.txt.liquid Fügen Sie die Vorlage zu Ihrem Theme hinzu (Online Store -> Themes -> Edit code -> Add a new template -> robots) und fügen Sie Ihre Regeln dort hinzu. Das Shopify-ähnliche Preset in diesem Tool ähnelt dem Standard von Shopify, sodass Sie Regeln überprüfen und testen können, bevor Sie die Vorlage bearbeiten. WordPress stellt eine virtuelle robots.txt bereit, die /wp-admin/ aber /wp-admin/admin-ajax.php. Eine echte robots.txt-Datei im Stammverzeichnis der Website ersetzt diese, und viele SEO-Plugins ermöglichen die Bearbeitung über das Dashboard.
Häufige Fehler, die der Validator erkennt
-
NoindexZeilen. Google unterstützt sie seit 2019 nicht mehr in robots.txt und ignoriert sie. - Relative Sitemap-URLs wie
Sitemap: /sitemap.xmlplatziert werden. Die URL muss absolut sein. - Regeln, die vor einem
User-agentZeile, die Crawler ignorieren. - Pfade ohne führenden Schrägstrich, vollständige URLs in Regeln und Nicht-ASCII-Pfade, die percentkodiert werden sollten.
-
Crawl-delay, das Google ignoriert. Bing und Yandex lesen es. - Dateien, die größer als 500 KiB sind. Google ignoriert alles, was hinter diesem Limit steht.
- Tippfehler wie
Nicht erlaubenund unbekannte Direktiven.
Crawling-Regeln sind nur ein Teil der technischen SEO. Überprüfen Sie Ihre strukturierten Daten mit dem Validator für Schema-Markup, erstellen Sie Such-Snippets mit dem Generator für Meta-Beschreibungen, prüfen Sie eine Seite mit dem AI-SEO-Analyzer oder sehen Sie sich alle kostenlosen AI-Generatoren und Tools an.
FAQ
Ist dieser robots.txt-Generator kostenlos?
Ja. Es gibt keine Anmeldung und kein Limit. Alles läuft in Ihrem Browser, daher wird die robots.txt, die Sie erstellen, einfügen oder testen, nicht an einen Server gesendet.
Wo platziere ich die robots.txt-Datei?
Im Stammverzeichnis jedes Hosts, sodass sie unter https://yourdomain.com/robots.txt geladen wird. Eine robots.txt in einem Unterordner wird ignoriert. Auf Shopify bearbeiten Sie stattdessen die Theme-Vorlage robots.txt.liquid, anstatt eine Datei hochzuladen.
Verhindert robots.txt, dass eine Seite indexiert wird?
Nein. Damit wird das Crawling gesteuert, nicht die Indexierung. Eine blockierte Seite kann weiterhin über Links indexiert werden, jedoch ohne ihren Inhalt. Damit eine Seite aus Google herausgehalten wird, erlauben Sie das Crawling und fügen Sie ein Noindex-Robots-Meta-Tag oder einen X-Robots-Tag-Header hinzu.
Schadet das Blockieren von GPTBot oder Google-Extended meinem Google-Ranking?
Nein. GPTBot ist der Trainings-Crawler von OpenAI und hat nichts mit der Google-Suche zu tun. Google-Extended steuert nur, ob Google Ihre Inhalte für das Training und die Grounding-Funktion von Gemini verwendet, nicht das Crawling oder Ranking in der Suche. Wenn Sie AI-Such-Bots wie OAI-SearchBot oder PerplexityBot blockieren, können Ihre Seiten allerdings aus diesen AI-Antworten verschwinden.
Befolgen alle Bots robots.txt?
Nein. robots.txt ist ein freiwilliger Standard. Große Suchmaschinen und die meisten AI-Unternehmen geben an, ihn zu befolgen, aber Scraper können ihn ignorieren. Verwenden Sie Logins, Firewall-Regeln oder Ratenbegrenzungen für alles, was privat bleiben muss.