Se você acha que o robots.txt no WordPress é só um arquivo de configuração que ninguém precisa mexer, está redondamente enganado. Um único caractere errado pode fazer o Google parar de rastrear seções inteiras do seu site. E o pior: você só vai perceber quando as visitas orgânicas desabarem.
Vou te mostrar um exemplo real, os erros mais comuns que vejo em sites de clientes e como resolver isso sem depender de plugin milagroso. A verdade é que o robots.txt no WordPress é uma das ferramentas mais poderosas e mais mal utilizadas que existem.
O que é o robots.txt e por que ele importa tanto no WordPress
O arquivo robots.txt é um documento de texto que fica na raiz do seu domínio e dá ordens aos robôs de busca. Ele diz o que pode ser rastreado e o que deve ficar de fora. No WordPress, ele ganha uma importância extra porque a estrutura de URLs é padronizada e expõe muita coisa que não deveria estar no índice do Google.
Se você tem um e-commerce ou um blog com centenas de posts, um robots.txt mal configurado é uma bomba-relógio. O Googlebot respeita essas diretivas, mas só se elas estiverem bem escritas.
O problema é que muita gente copia e cola arquivos de tutoriais antigos, de 2015, sem entender o que cada linha faz. Aí bloqueia o CSS, bloqueia o JavaScript e o Google não consegue renderizar a página. Resultado: queda de posições, páginas desindexadas e uma dor de cabeça gigante.
Exemplo real de robots.txt para WordPress (e por que a maioria erra)
Vamos ao que interessa. Um exemplo funcional de robots.txt para WordPress deveria ser enxuto. Veja o que eu uso como base:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /?s=
Disallow: /search/
Sitemap: https://www.seusite.com/sitemap_index.xml
Esse modelo bloqueia o painel administrativo, arquivos internos do core, plugins, cache e páginas de busca interna. Também aponta para o sitemap, que ajuda o Google a encontrar o que realmente importa.
Agora, o erro clássico: bloquear /wp-content/themes/. Já vi isso em dezenas de sites. O tema contém o CSS e o JavaScript que o Google precisa para renderizar a página. Se você bloqueia essa pasta, o Googlebot vê um site quebrado, sem estilo, e pode até penalizar sua experiência de página.
Outro erro brutal: bloquear /category/ e /tag/ sem pensar. Em alguns projetos, as páginas de categoria são importantes para a arquitetura SEO. Bloquear tudo é jogar fora uma estrutura de links internos que ajudaria no ranqueamento.
Os erros que ferram o SEO de verdade
Vou listar os que mais aparecem em auditorias. Se você cometer um deles, seu robots.txt WordPress está sabotando seu tráfego.
- Bloquear o CSS e o JS do tema: o Google não renderiza a página corretamente e sua pontuação de Core Web Vitals despenca.
- Usar Disallow em vez de noindex: se você não quer uma página no índice, o Disallow só impede o rastreamento. Se a página já está indexada, ela continua lá, aparecendo nos resultados sem descrição.
- Não incluir o Sitemap: sem a linha do sitemap, o Google demora muito mais para descobrir conteúdo novo.
- Bloquear o admin-ajax.php: isso quebra funcionalidades dinâmicas do WordPress, como carrinho de compras e filtros de busca.
- Deixar o arquivo robots.txt padrão do WordPress: o WordPress cria um arquivo virtual que só tem «User-agent: *» e «Disallow:». Isso não bloqueia nada perigoso e expõe o login e outras áreas.
Um detalhe que quase ninguém comenta: o WordPress gera um robots.txt virtual por padrão. Se você não criar um arquivo físico na raiz do servidor, ele vai usar esse virtual. Para sobrescrever, é só subir um arquivo robots.txt via FTP ou usar um plugin de SEO que permita editar.
Como testar se o seu robots.txt está funcionando
Não adianta configurar e rezar. Teste. O Google Search Console tem um relatório de «Arquivo robots.txt» que mostra exatamente o que o Googlebot está lendo. Se aparecer erro de sintaxe, corrija na hora.
Outra ferramenta útil é o robots.txt Tester do próprio Search Console. Você insere uma URL e ele diz se está bloqueada ou permitida. Faça isso para as páginas mais importantes do seu site: home, posts, categorias e produtos.
Se você usa Yoast SEO ou Rank Math, eles têm editores de robots.txt integrados. Mas cuidado: alguns plugins adicionam linhas automaticamente que podem conflitar com o que você quer. Revise sempre o arquivo final acessando seusite.com/robots.txt no navegador.
Quando o robots.txt não resolve e você precisa de noindex
Aqui vai a verdade que muitos tutoriais escondem: o robots.txt não é uma ferramenta de desindexação. Se uma página já está no índice do Google e você adiciona um Disallow, ela pode continuar aparecendo nos resultados de busca, porque o Google não vai rastreá-la para ver que você bloqueou.
O correto é usar a meta tag noindex no cabeçalho da página. Isso sim remove a página do índice. O robots.txt serve para bloquear rastreamento de áreas que não fazem sentido, como o painel admin, arquivos de sistema e parâmetros de URL infinitos.
Um exemplo prático: se você tem páginas de obrigado (thank you pages) que não devem aparecer no Google, use noindex. Se você quer impedir que o Google rastreie a pasta de uploads, use robots.txt.
Misturar as duas coisas é o que causa a maioria dos desastres de SEO que vejo por aí.
O caso do sitemap: seu melhor amigo no robots.txt
Incluir a linha do sitemap no robots.txt é uma das práticas mais subestimadas. O sitemap XML lista todas as URLs importantes do seu site. Quando você aponta para ele no robots.txt, o Google encontra o arquivo mais rápido e começa a rastrear o conteúdo novo em questão de horas, não semanas.
No WordPress, o sitemap padrão fica em /wp-sitemap.xml ou /sitemap_index.xml se você usa Yoast. Verifique qual é o seu e coloque a URL completa na última linha do robots.txt.
Só não cometa o erro de bloquear o próprio sitemap. Já vi isso. O cara colocou Disallow: /sitemap_index.xml e depois não entendia por que o Search Console mostrava erro de leitura. Não faça isso.
Conclusão sem enrolação: revise seu robots.txt hoje
Se você chegou até aqui e nunca olhou o robots.txt do seu WordPress, pare tudo e vá verificar agora. Acesse seusite.com/robots.txt e leia linha por linha. Compare com o exemplo que dei. Veja se não está bloqueando CSS, JS ou o sitemap.
Um robots.txt no WordPress bem configurado não é garantia de primeiro lugar no Google, mas um mal configurado é garantia de problema. E o pior: o estrago pode demorar meses para aparecer, porque o Google leva tempo para reprocessar as diretivas.
Minha recomendação final: use o mínimo necessário. Bloqueie o admin, os arquivos internos e as buscas internas. Deixe o resto acessível. E sempre, sempre teste no Search Console antes de considerar o trabalho concluído.
