Wat is een robots.txt-bestand?
Een robots.txt-bestand is een tekstbestand zonder opmaak in de hoofdmap van je site, bijvoorbeeld https://example.com/robots.txt, die crawlers vertelt welke paden ze mogen ophalen. Het bestaat uit groepen. Elke groep begint met een of meer User-agent regels met de naam van een crawler, gevolgd door Allow en Disallow regels. Sitemap regels verwijzen crawlers naar je XML-sitemaps en kunnen overal in het bestand staan. De indeling is gestandaardiseerd als RFC 9309, het Robots Exclusion Protocol, en Google, Bing en de meeste grote crawlers volgen deze.
Deze robots.txt-generator schrijft het bestand voor je op basis van presets en een eenvoudige groepseditor. De robots.txt-validator markeert regels die crawlers negeren of verkeerd kunnen interpreteren, met regelnummers. De robots.txt-tester laat zien of een URL is toegestaan of geblokkeerd voor een bepaalde bot en toont de exacte regel die dat bepaalt.
Wat robots.txt wel en niet kan doen
-
Het regelt crawlen, niet indexeren. Een geblokkeerde URL kan nog steeds in de Google-resultaten verschijnen, zonder beschrijving, als andere pagina's ernaar linken. Als je een pagina uit de zoekresultaten wilt houden, laat crawlers deze dan ophalen en voeg een
noindex-robots-metatag of eenX-Robots-Tag-header toe. - Het is vrijwillig. Crawlers die zich goed gedragen volgen het. Scrapers die het negeren, worden niet tegengehouden. Het is geen toegangsbeheer: bescherm privépagina's met een login.
- Het is openbaar. Iedereen kan je robots.txt openen, dus vermeld er geen geheime paden in.
-
Het werkt per host.
shop.example.comenexample.comhebben elk hun eigen bestand nodig in hun eigen root.
Hoe Google de regels leest
Google documenteert zijn overeenkomende logica, en het tabblad Test-URL volgt dezelfde stappen:
-
Kies de groep. Een crawler gebruikt de groep met de meest specifieke user-agent die hoofdletterongevoelig overeenkomt met zijn token. Googlebot-News gebruikt een
googlebot-news-groep als die bestaat, andersgoogleboten anders*. Meerdere groepen voor dezelfde crawler worden samengevoegd tot één groep. -
Stem het pad af. Paden zijn hoofdlettergevoelig en worden vanaf het begin vergeleken, inclusief de querystring.
*komt overeen met een willekeurige reeks tekens en$markeert het einde van de URL./fish*betekent hetzelfde als/fish, en/*.php$komt overeen met/index.php, maar niet met/index.php?id=1. - De langste regel wint. Van de overeenkomende regels bepaalt de regel met het langste pad de uitkomst. Als een Allow- en een Disallow-regel even lang zijn, gebruikt Google de minst beperkende regel: de Allow-regel.
-
Een lege Disallow blokkeert niets.
Disallow:zonder pad betekent dat de groep alles mag crawlen.
User-agent: * Disallow: /account/ Allow: /account/login
Hier /account/orders is geblokkeerd, terwijl /account/login is toegestaan omdat de Allow-regel langer en specifieker is.
AI-crawlers blokkeren met robots.txt
Veel AI-bedrijven publiceren user-agenttokens die je kunt blokkeren. Ze zijn niet allemaal hetzelfde type bot, en dat verschil is belangrijk:
- Trainingscrawlers. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent en Bytespider (ByteDance) verzamelen pagina's die kunnen worden gebruikt om modellen te trainen. Als je ze blokkeert, vraag je deze bedrijven toekomstige crawls niet te gebruiken.
- Controletokens. Google-Extended en Applebot-Extended zijn geen afzonderlijke crawlers. Google-Extended geeft Google aan je content niet te gebruiken voor het trainen en onderbouwen van Gemini. Het verandert niets aan de manier waarop Googlebot je pagina's crawlt, indexeert of rangschikt in Google Search. Applebot-Extended meldt je af voor de modeltraining van Apple, terwijl Applebot pagina's blijft crawlen voor Siri en Spotlight.
- AI-zoekopdrachten en ophalen door gebruikers. OAI-SearchBot, Claude-SearchBot en PerplexityBot halen pagina's op zodat ze deze kunnen weergeven en citeren in AI-antwoorden. ChatGPT-User en Claude-User halen een pagina op wanneer iemand de assistent vraagt deze te lezen. Als je deze blokkeert, kunnen je pagina's verdwijnen uit AI-antwoorden en citaten, terwijl dat vaak juist verkeer is dat je wilt.
De AI-preset blokkeert trainingscrawlers en laat zoek- en gebruikersagents ongecontroleerd, zodat je zelf kunt beslissen. robots.txt is alleen van toepassing op toekomstige crawls. Het verwijdert geen content die al is verzameld.
robots.txt op Shopify en WordPress
Shopify genereert robots.txt voor je en je kunt geen bestand uploaden. Om dit te wijzigen, voeg je een robots.txt.liquid sjabloon aan je thema toe (Online Store -> Themes -> Edit code -> Add a new template -> robots) en voeg daar je regels toe. De Shopify-voorinstelling in deze tool lijkt op de standaardinstellingen van Shopify, zodat je regels kunt controleren en testen voordat je het sjabloon bewerkt. WordPress serveert een virtuele robots.txt die /wp-admin/ maar staat /wp-admin/admin-ajax.php. Een echt robots.txt-bestand in de hoofdmap van de site vervangt dit, en met veel SEO-plug-ins kun je het vanuit het dashboard bewerken.
Veelgemaakte fouten die de validator onderschept
-
Noindexregels. Google ondersteunt deze sinds 2019 niet meer in robots.txt en negeert ze. - Relatieve sitemap-URL's zoals
Sitemap: /sitemap.xml. De URL moet absoluut zijn. - Regels die vóór een
User-agentregel, die crawlers negeren. - Paden zonder een voorafgaande schuine streep, volledige URL's in regels en niet-ASCII-paden die met procentcodering moeten worden weergegeven.
-
Crawl-delay, die Google negeert. Bing en Yandex lezen dit wel. - Bestanden groter dan 500 KiB. Google negeert alles na die limiet.
- Typefouten zoals
Dissallowen onbekende richtlijnen.
Crawlregels zijn slechts één onderdeel van technische SEO. Controleer je gestructureerde gegevens met de validator voor schemamarkup, schrijf zoekresultaatsamenvattingen met de generator voor metabeschrijvingen, analyseer een pagina met de AI SEO-analyzer of bekijk alle gratis AI-generators en tools.
Veelgestelde vragen
Is deze robots.txt-generator gratis?
Ja. Je hoeft je niet aan te melden en er is geen limiet. Alles draait in je browser, dus de robots.txt die je maakt, plakt of test, wordt niet naar een server verzonden.
Waar plaats ik het robots.txt-bestand?
In de hoofdmap van elke host, zodat het bestand wordt geladen op https://yourdomain.com/robots.txt. Een robots.txt in een submap wordt genegeerd. In Shopify bewerk je de themasjabloon robots.txt.liquid in plaats van een bestand te uploaden.
Voorkomt robots.txt dat een pagina wordt geïndexeerd?
Nee. Dit regelt het crawlen, niet het indexeren. Een geblokkeerde pagina kan nog steeds worden geïndexeerd via links, maar zonder de inhoud ervan. Als je een pagina uit Google wilt houden, sta je crawlen toe en voeg je een robots-metatag noindex of een X-Robots-Tag-header toe.
Schaadt het blokkeren van GPTBot of Google-Extended mijn Google-rangschikking?
Nee. GPTBot is de crawler van OpenAI voor trainingsdoeleinden en heeft niets te maken met Google Zoeken. Google-Extended bepaalt alleen of Google je content gebruikt voor Gemini-training en -grounding, niet of de content wordt gecrawld of gerangschikt in Zoeken. Als je AI-zoekbots zoals OAI-SearchBot of PerplexityBot blokkeert, kunnen je pagina's echter uit die AI-antwoorden verdwijnen.
Houden alle bots zich aan robots.txt?
Nee. robots.txt is een vrijwillige standaard. Grote zoekmachines en de meeste AI-bedrijven zeggen dat ze deze volgen, maar scrapers kunnen de standaard negeren. Gebruik inlogbeveiliging, firewallregels of snelheidslimieten voor alles wat privé moet blijven.
