Il 90% dei file robots.txt che trovi nei tutorial italiani su WordPress sono riciclati da guide del 2014 e oggi fanno più danni che bene. Se stai cercando come creare un file robots.txt funzionante per WordPress, parti da un concetto che quasi nessuno spiega: quel file non dice a Google dove non indicizzare, dice dove il crawler non può passare a leggere. Sembra lo stesso, non lo è, e la differenza ti costa posizionamento.
Cos’è davvero il robots.txt e cosa fa Googlebot quando arriva
Il file robots.txt è un semplice .txt che vive nella root del dominio, quindi su https://tuosito.it/robots.txt. Quando Googlebot arriva sul tuo sito, la prima cosa che fa è leggere quel file. Se non esiste, prova ad accedere a tutto. Se esiste, segue le regole che hai scritto.
Il problema è che la gente lo confonde con un sistema di sicurezza. Non lo è, e non lo sarà mai. Chiunque può digitare /robots.txt nel browser e leggere nero su bianco quali cartelle stai cercando di nascondere. In pratica stai consegnando una mappa a mano delle parti che consideri più delicate.
WordPress ha già un robots.txt virtuale attivo (e quasi nessuno lo sa)
Anche se non hai mai creato il file, WordPress risponde lo stesso alla richiesta /robots.txt con una versione generata a runtime. Dal 5.3 in poi la configurazione di default è questa:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Leggiamola insieme: crawler, non entrare nell’area di amministrazione, ma lascia stare admin-ajax.php perché serve al sito per funzionare. Fine. Per un blog o un sito aziendale normale questo è già quasi tutto quello che serve davvero.
L’esempio classico dei tutorial vecchi e perché io lo riscriverei
Nei tutorial datati circola sempre lo stesso blocco, più o meno questo:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Sitemap: https://tuosito.it/sitemap_index.xml
Sulla carta sembra ragionevole. In pratica, con i motori di ricerca moderni, contiene almeno due errori seri che ti affossano.
Errore uno: bloccare /wp-content/ e /wp-includes/
Google ha bisogno di scaricare CSS, JavaScript e immagini per renderizzare le tue pagine. I file .css e .js che danno forma al sito stanno quasi tutti dentro /wp-content/themes/ e /wp-content/plugins/. Se li blocchi, Google vede una pagina spoglia, senza stile e senza funzionalità, e la valuta per quello che è: un contenuto povero.
John Mueller, che lavora in Google, lo ha ripetuto più volte: bloccare /wp-content/ o /wp-includes/ è una cattiva idea. Il rendering mobile-first è il motore con cui Google capisce come appare il tuo sito su smartphone. Se gli togli i file di stile, stai sabotando quel processo da solo.
Errore due: usare Disallow per gestire la duplicazione
Bloccare le pagine di categoria, tag e autore era la strategia di dieci anni fa, quando lo spazio di scansione era un bene scarso. Oggi è controproducente, e c’è un motivo tecnico preciso: una pagina bloccata con Disallow può comunque finire nell’indice di Google se qualcuno la linka, perché il Disallow impedisce la scansione, non l’indicizzazione. Risultato? URL indicizzati senza titolo, senza descrizione, senza contenuto. Peggio di un archivio tag normalissimo.
Il modo giusto, oggi, è lasciar indicizzare quegli archivi e taggare la pagina con noindex dal plugin SEO (Yoast, Rank Math, SEOPress). Ma c’è una trappola: perché il tag noindex venga letto, Google deve poter accedere alla pagina per vederlo. Se blocchi la pagina con Disallow, Google non entra mai, non legge mai il noindex, e il problema resta. Questo è il punto che quasi tutti sbagliano e su cui vale la pena insistere.
Come scriverlo bene, allora? Ecco la mia versione
Per un sito WordPress standard io userei poche righe e niente cartelle di sistema:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://tuosito.it/sitemap_index.xml
Con WooCommerce ci aggiungerei anche Disallow: /cart, Disallow: /checkout e Disallow: /my-account. Sono pagine che non hanno alcun senso nell’indice di Google e che ogni tanto ci finiscono per errore.
Nota sulla sitemap: WordPress da solo, senza plugin SEO, non genera una sitemap_index.xml. La genera Yoast, Rank Math o Google XML Sitemaps. Prima di dichiararla nel robots.txt, apri quell’URL nel browser e verifica che esista davvero. Una Sitemap che restituisce 404 è un piccolo ma fastidioso segnale negativo.
Come creare il file su WordPress: due strade
Primo modo: via FTP o file manager del pannello hosting (cPanel, Plesk, SiteGround, Aruba…). Vai nella root del sito, quella dove c’è wp-config.php, crea un file chiamato robots.txt e incolla il contenuto. Attenzione: se il sito sta in una sottocartella tipo /blog/, il file va nella root del dominio, non dentro /blog/.
Secondo modo: dal backend, tramite l’editor integrato di Yoast SEO o Rank Math. C’è una sezione specifica dove puoi modificare il robots.txt virtuale senza toccare l’FTP. Comodo, ma sappi che se un domani disinstalli il plugin, perdi la modifica. Io preferisco il file fisico nella root, così è indipendente dalla vita dei plugin.
Testalo prima di considerarlo finito
Mai tirare a indovinare. Due strumenti gratuiti che uso sempre:
- Google Search Console > Impostazioni > robots.txt: ti dice se il file è valido e quali direttive ha effettivamente letto Googlebot.
- Controllo URL nella Search Console: verifichi se una pagina specifica risulta bloccata dai robots.
Se hai appena modificato il file e Google sembra comportarsi ancora come prima, non entrare nel panico. Google cache-a il robots.txt e non lo rilegge a ogni visita: ci mette anche 24-48 ore a recepire la modifica.
Cosa il robots.txt NON può fare (e chi te lo vende come soluzione mente)
Non protegge password. Non ferma scraper aggressivi. Non ti fa segreti. Non impedisce l’indicizzazione reale, quella la fa il noindex. Non impedisce l’accesso diretto a un file se qualcuno ne conosce l’URL. Se hai una cartella /wp-content/uploads/2024/clienti.xlsx con dati sensibili, il robots.txt è carta straccia: chiunque abbia il link la scarica. L’unica difesa vera lì è spostare il file fuori dalla web root o proteggere la cartella con password a livello server.
Quando bloccare con Disallow ha ancora senso
Quando la pagina è talmente inutile da far sprecare budget di scansione a Googlebot. Un sito e-commerce con decine di migliaia di URL di ricerca interna generati da /?s= è l’esempio perfetto: Disallow lì vale oro. Anche i parametri di tracking tipo ?utm_source=… se vengono generati in link interni.
Per tutto il resto, la regola che seguo è semplice: se non vuoi vedere la pagina su Google, usa noindex; se non vuoi proprio che venga scansita perché è una perdita di tempo, allora usa Disallow. Confondere i due strumenti è l’errore che vedo più spesso, e sistemarlo ti basta per avere un robots.txt WordPress fatto meglio della maggior parte dei siti là fuori.
