Che cos'è un file robots.txt?
Un file robots.txt è un file di testo semplice nella radice del tuo sito, ad esempio https://example.com/robots.txt, che indica ai crawler quali percorsi possono recuperare. È composto da gruppi. Ogni gruppo inizia con uno o più User-agent righe che indicano un crawler, seguite da Allow e Disallow regole. Sitemap Le righe indirizzano i crawler alle tue sitemap XML e possono trovarsi ovunque nel file. Il formato è standardizzato come RFC 9309, il Robots Exclusion Protocol, e Google, Bing e la maggior parte dei crawler principali lo seguono.
Questo generatore di robots.txt crea il file per te usando preset e un semplice editor di gruppi. Il validatore di robots.txt segnala le righe che i crawler ignoreranno o interpreteranno in modo errato, indicando i numeri di riga. Il tester di robots.txt ti dice se un URL è consentito o bloccato per un determinato bot e mostra la riga esatta che ha determinato il risultato.
Cosa può e non può fare robots.txt
-
Controlla il crawling, non l'indicizzazione. Un URL bloccato può comunque comparire nei risultati di Google, senza descrizione, se altre pagine vi rimandano. Per escludere una pagina dalla ricerca, consenti ai crawler di recuperarla e aggiungi un meta tag robots
noindexoppure un'intestazioneX-Robots-Tag. - È volontario. I crawler corretti lo rispettano. Gli scraper che lo ignorano non vengono fermati. Non è un sistema di controllo degli accessi: proteggi le pagine private con un accesso autenticato.
- È pubblico. Chiunque può aprire il tuo robots.txt, quindi non elencare al suo interno percorsi segreti.
-
Funziona per host.
shop.example.comedexample.comdevono avere ciascuno il proprio file nella propria radice.
Come Google legge le regole
Google documenta la propria logica di corrispondenza e la scheda Test URL segue gli stessi passaggi:
-
Scegli il gruppo. Un crawler utilizza il gruppo con lo user-agent più specifico che corrisponde al suo token, senza distinzione tra maiuscole e minuscole. Googlebot-News utilizza un gruppo
googlebot-newsse presente, altrimentigooglebot, altrimenti*. Più gruppi per lo stesso crawler vengono uniti in uno solo. -
Corrispondenza del percorso. I percorsi distinguono tra maiuscole e minuscole e corrispondono dall'inizio, inclusa la stringa di query.
*corrisponde a qualsiasi sequenza di caratteri e$indica la fine dell'URL./fish*equivale a/fish, mentre/*.php$corrisponde a/index.phpma non a/index.php?id=1. - Vince la regola più lunga. Tra le regole corrispondenti, decide quella con il percorso più lungo. Se una regola Allow e una Disallow hanno la stessa lunghezza, Google utilizza quella meno restrittiva, cioè Allow.
-
Un Disallow vuoto non blocca nulla.
Disallow:senza un percorso significa che il gruppo può eseguire il crawl ovunque.
User-agent: * Disallow: /account/ Allow: /account/login
Qui /account/orders è bloccato, mentre /account/login è consentito perché la regola Allow è più lunga e specifica.
Blocco dei crawler AI con robots.txt
Molte aziende di AI pubblicano token user-agent che puoi bloccare. Non sono tutti lo stesso tipo di bot e la differenza è importante:
- Crawler di addestramento. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent e Bytespider (ByteDance) raccolgono pagine che possono essere utilizzate per addestrare i modelli. Bloccarli chiede a queste aziende di non utilizzare i crawl futuri.
- Token di controllo. Google-Extended e Applebot-Extended non sono crawler separati. Google-Extended comunica a Google di non utilizzare i tuoi contenuti per l'addestramento e il grounding di Gemini. Non modifica il modo in cui Googlebot esegue il crawl, indicizza o posiziona le tue pagine nella Ricerca Google. Applebot-Extended ti esclude dall'addestramento dei modelli di Apple, mentre Applebot continua a eseguire il crawl per Siri e Spotlight.
- Ricerche AI e recuperi da parte degli utenti. OAI-SearchBot, Claude-SearchBot e PerplexityBot recuperano le pagine per mostrarle e citarle nelle risposte dell'AI. ChatGPT-User e Claude-User recuperano una pagina quando una persona chiede all'assistente di leggerla. Bloccarli può rimuovere le tue pagine dalle risposte e dalle citazioni dell'AI, che spesso sono traffico utile.
Il preset AI blocca i crawler di addestramento e lascia deselezionati i motori di ricerca e gli user agent, così puoi decidere. robots.txt si applica solo ai crawl futuri. Non rimuove i contenuti già raccolti.
robots.txt su Shopify e WordPress
Shopify genera robots.txt automaticamente e non puoi caricare un file. Per modificarlo, aggiungi un robots.txt.liquid template al tema (Online Store -> Themes -> Edit code -> Add a new template -> robots) e aggiungi lì le tue regole. Il preset in stile Shopify di questo strumento è simile a quello predefinito di Shopify, quindi puoi esaminare e testare le regole prima di modificare il template. WordPress gestisce un robots.txt virtuale che non consente /wp-admin/ ma consente /wp-admin/admin-ajax.php. Un file robots.txt reale nella root del sito lo sostituisce e molti plugin SEO consentono di modificarlo dalla dashboard.
Errori comuni rilevati dal validatore
-
Noindexrighe. Google ha smesso di supportarli in robots.txt nel 2019 e li ignora. - URL relativi della sitemap come
Sitemap: /sitemap.xml. L'URL deve essere assoluto. - Regole inserite prima di qualsiasi
User-agentriga, che i crawler ignorano. - Percorsi senza una barra iniziale, URL completi nelle regole e percorsi non ASCII che dovrebbero essere codificati in percentuale.
-
Crawl-delay, che Google ignora. Bing e Yandex lo leggono. - File più grandi di 500 KiB. Google ignora tutto ciò che supera questo limite.
- Errori di battitura come
Dissallowe direttive sconosciute.
Le regole di crawling sono solo una parte della SEO tecnica. Controlla i tuoi dati strutturati con il validatore del markup dello schema, scrivi gli snippet di ricerca con il generatore di meta description, analizza una pagina con l'analizzatore SEO AI o esplora tutti i generatori e strumenti AI gratuiti.
Domande frequenti
Questo generatore di robots.txt è gratuito?
Sì. Non è necessaria alcuna registrazione e non ci sono limiti. Tutto viene eseguito nel browser, quindi il robots.txt che crei, incolli o testi non viene inviato ad alcun server.
Dove devo inserire il file robots.txt?
Nella root di ogni host, in modo che venga caricata all'indirizzo https://yourdomain.com/robots.txt. Un robots.txt in una sottocartella viene ignorato. Su Shopify modifichi il template del tema robots.txt.liquid invece di caricare un file.
robots.txt impedisce l'indicizzazione di una pagina?
No. Controlla il crawling, non l'indicizzazione. Una pagina bloccata può essere comunque indicizzata a partire dai link, ma senza il relativo contenuto. Per impedire che una pagina venga inclusa in Google, consenti il crawling e aggiungi un meta tag robots noindex o un'intestazione X-Robots-Tag.
Bloccare GPTBot o Google-Extended danneggerà il mio posizionamento su Google?
No. GPTBot è il crawler di addestramento di OpenAI e non ha nulla a che vedere con Google Search. Google-Extended controlla solo se Google utilizza i tuoi contenuti per l'addestramento e il grounding di Gemini, non il crawling o il posizionamento nella Ricerca. Tuttavia, bloccare i bot di ricerca AI come OAI-SearchBot o PerplexityBot può rimuovere le tue pagine dalle relative risposte AI.
Tutti i bot rispettano robots.txt?
No. robots.txt è uno standard volontario. I principali motori di ricerca e la maggior parte delle aziende di AI dichiarano di rispettarlo, ma gli scraper possono ignorarlo. Usa accessi, regole del firewall o limiti di frequenza per tutto ciò che deve rimanere privato.
