Un file <a href="https://www.empresadeserviciosweb.com/servizi/robots/”>robots.txt è un file che viene utilizzato per indicare ai robot dei motori di <a href="https://www.empresadeserviciosweb.com/servizi/ricerca/”>ricerca quali pagine o sezioni del sito web devono ignorare durante la scansione e l’indicizzazione del sito. Questo può essere utile se ci sono parti del sito che non vuoi che vengano indicizzate o se vuoi evitare che i motori di ricerca accedano a determinate pagine. .
Ti consiglio di leggere questo articolo interessante: <a href="https://www.empresadeserviciosweb.com/come-integrare-google-maps-in-wordpress-in-un-battibaleno/” title=”Come integrare Google Maps in WordPress in un battibaleno” class=”internal-recommendation” target=”_self” rel=”noopener”>Come integrare Google Maps in WordPress in un battibaleno.
Di seguito ti presento un esempio di un file robots.txt completo per un sito web basato su WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/feed/
Sitemap: https://www.qui inserisci l’url del tuo sito web.com/sitemap_index.xml
In questo esempio, il file robots.txt blocca l’accesso alla maggior parte delle cartelle e dei file di WordPress, inclusa l’amministrazione di WordPress, i plugin, la cache, i temi e i file dei commenti e dei trackback. Viene inoltre fornito l’URL di una mappa del sito, <a href="https://www.empresadeserviciosweb.com/post/che-cose-seo-e-perche-e-<a href="https://www.empresadeserviciosweb.com/che-cose-seo-e-perche-e-importante-per-i-siti-web/” title=”Che cos’è la SEO, il suo impatto sui siti web e le ragioni per cui è così importante per ottenere risultati”>importante-per-i-siti-web/” title=”Che cos’è la SEO e perché è importante per i Siti Web” class=”internal-link”>Che cos’è un file che contiene un elenco di tutte le pagine del sito e che può essere utile per i motori di ricerca durante la scansione e l’indicizzazione del sito.
È importante tenere presente che i file robots.txt non sono infallibili e che i motori di ricerca possono ignorare le istruzioni fornite al loro interno. Pertanto, se vuoi evitare che una pagina o una sezione del sito venga indicizzata, è meglio utilizzare il tag “noindex” nella meta tag dell’intestazione della pagina invece di affidarti esclusivamente al file robots.txt.
