Um arquivo <a href="https://www.empresadeserviciosweb.com/servicios/robots/”>robots.txt é um arquivo utilizado para indicar aos robôs dos motores de <a href="https://www.empresadeserviciosweb.com/servicios/busqueda/”>busca quais páginas ou seções do site web devem ser ignoradas ao rastrear e indexar o site. Isso pode ser útil se houver partes do site que você não quer que sejam indexadas ou se quiser evitar que os motores de busca acessem certas páginas. .
Recomendo que você veja este artigo que é interessante: <a href="https://www.empresadeserviciosweb.com/como-integrar-google-maps-en-wordpress-en-un-plis-plas/” title=”Cómo integrar Google Maps en WordPress en un plis plas” class=”internal-recommendation” target=”_self” rel=”noopener”>Como integrar o Google Maps no WordPress em um piscar de olhos.
A seguir, apresento um exemplo de um arquivo robots.txt completo para um site baseado em WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/feed/
Sitemap: https://www.aqui coloque a url do seu site web.com/sitemap_index.xml
Neste exemplo, o arquivo robots.txt bloqueia o acesso à maioria das pastas e arquivos do WordPress, incluindo a administração do WordPress, os plugins, o cache, os temas e os arquivos de comentários e trackbacks. Também é fornecida a URL de um mapa do site, <a href="https://www.empresadeserviciosweb.com/post/que-es-seo-y-por-que-es-<a href="https://www.empresadeserviciosweb.com/que-es-seo-y-por-que-es-importante-para-los-sitios-web/” title=”Qué es SEO, su impacto en los sitios web y las razones por las que es tan importante para obtener resultados”>importante-para-los-sitios-web/” title=”Que es Seo y por qué es importante para los Sitios Web” class=”internal-link”>Que é um arquivo que contém uma lista de todas as páginas do site e que pode ser útil para os motores de busca ao rastrear e indexar o site.
É importante ter em mente que os arquivos robots.txt não são infalíveis e que os motores de busca podem ignorar as instruções fornecidas neles. Portanto, se você quiser evitar que uma página ou uma seção do site seja indexada, é melhor utilizar a tag “noindex” na meta tag do cabeçalho da página em vez de depender exclusivamente do arquivo robots.txt.
