Een <a href="https://www.empresadeserviciosweb.com/servicios/robots/”>robots.txt-bestand is een bestand dat wordt gebruikt om de robots van zoekmachines <a href="https://www.empresadeserviciosweb.com/servicios/busqueda/”>te vertellen welke pagina’s of secties van de website web ze moeten negeren bij het crawlen en indexeren van de site. Dit kan nuttig zijn als er delen van de site zijn die je niet geïndexeerd wilt hebben of als je wilt voorkomen dat zoekmachines toegang krijgen tot bepaalde pagina’s. .
Ik raad je aan dit interessante artikel te lezen: <a href="https://www.empresadeserviciosweb.com/como-integrar-google-maps-en-wordpress-en-un-plis-plas/” title=”Cómo integrar Google Maps en WordPress en un plis plas” class=”internal-recommendation” target=”_self” rel=”noopener”>Cómo integrar Google Maps en WordPress en un plis plas.
Hieronder geef ik je een voorbeeld van een compleet robots.txt-bestand voor een website die op WordPress is gebaseerd:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/feed/
Sitemap: https://www.aquí pon la url de tu sitio web.com/sitemap_index.xml
In dit voorbeeld blokkeert het robots.txt-bestand de toegang tot de meeste mappen en bestanden van WordPress, waaronder de beheeromgeving van WordPress, de plugins, de cache, de thema’s en de bestanden voor reacties en trackbacks. Ook wordt de URL van een sitemap gegeven, <a href="https://www.empresadeserviciosweb.com/post/que-es-seo-y-por-que-es-<a href="https://www.empresadeserviciosweb.com/que-es-seo-y-por-que-es-importante-para-los-sitios-web/” title=”Qué es SEO, su impacto en los sitios web y las razones por las que es tan importante para obtener resultados”>importante-para-los-sitios-web/” title=”Que es Seo y por qué es importante para los Sitios Web” class=”internal-link”>Que es een bestand dat een lijst bevat van alle pagina’s van de site en dat nuttig kan zijn voor zoekmachines bij het crawlen en indexeren van de site.
Het is belangrijk om te weten dat robots.txt-bestanden niet onfeilbaar zijn en dat zoekmachines de instructies die erin staan kunnen negeren. Daarom kun je, als je wilt voorkomen dat een pagina of een sectie van de site wordt geïndexeerd, beter de tag “noindex” in de meta-tag van de header van de pagina gebruiken in plaats van uitsluitend te vertrouwen op het robots.txt-bestand.
