Le fichier robots.txt d’un site WordPress, c’est le panneau de signalisation que lisent Googlebot, Bingbot et compagnie avant d’explorer ton site. Il vit toujours à la racine : monsite.com/robots.txt.
Et contrairement à une croyance tenace, il ne bloque pas l’indexation — il bloque le crawl. Cette nuance change tout quand tu configures ton référencement.
La majorité des exemples de fichier robots.txt WordPress qui circulent en ligne datent d’une époque où on empilait des lignes « Disallow » partout, comme si chaque dossier était une menace. Résultat : des sites qui interdisent à Googlebot de lire leur CSS et leurs images, puis qui s’étonnent de dégringoler dans les résultats mobiles.
En 2026, avec le mobile-first indexing poussé à fond, cette erreur coûte encore plus cher.
Robots.txt WordPress : à quoi ça sert réellement
Un robots.txt sert à économiser le budget de crawl de Google et à empêcher que des pages sans intérêt (résultats de recherche interne, pages de tri, paniers) ne polluent ton index. Sur une boutique WooCommerce ou un gros blog, bien configuré, il fait gagner un temps précieux aux robots — et ce temps, Google le réinvestit sur tes pages qui comptent vraiment.
Mais attention au piège : une page bloquée dans le robots.txt peut quand même apparaître dans Google si d’autres sites pointent vers elle. Le moteur l’indexe alors « à l’aveugle », sans titre ni description.
C’est l’erreur numéro un que je vois chez les débutants qui croient verrouiller une page. Le robots.txt WordPress ne supprime pas une URL de l’index : il empêche juste son exploration.
L’exemple de fichier robots.txt WordPress qui tient la route
Voici une base saine. Copie-la, remplace l’URL par la tienne, et tu pars sur de bonnes fondations. Ce n’est pas un dogme : chaque site a ses particularités, mais cette structure couvre 90 % des cas.
- User-agent: *
- Allow: /wp-admin/admin-ajax.php
- Disallow: /wp-admin/
- Disallow: /trackback/
- Disallow: /*?s=
- Disallow: /search/
- Disallow: /author/
- Disallow: /*/feed/
- Disallow: /comments/feed/
- Sitemap: https://www.tonsite.com/sitemap_index.xml
Tu remarques qu’il n’y a aucune ligne pour bloquer /wp-content/ ou /wp-includes/. C’est volontaire, et c’est justement là que je m’oppose aux vieux tutos.
Pourquoi je ne bloque PAS wp-content ni wp-includes
Bloquer /wp-content/, /wp-includes/, les thèmes, les plugins ou le dossier uploads, c’est couper les jambes de Googlebot. Depuis le mobile-first indexing, Google rend ta page comme un vrai navigateur pour juger ton design, ta vitesse et ton expérience mobile.
Si tu lui interdis de charger ton CSS, ton JavaScript et tes images, il voit un site cassé.
Un fichier robots.txt WordPress moderne ne bloque donc jamais ces dossiers. À la rigueur, tu peux exclure /wp-content/cache/ si tu as un plugin de cache très lourd, mais ce n’est même pas indispensable dans la majorité des configurations.
En 2026, avec Core Web Vitals et l’INP qui pèsent lourd dans le classement, priver Googlebot de tes ressources revient à saboter ta propre note.
Les lignes vraiment utiles, une par une
Allow: /wp-admin/admin-ajax.php — indispensable. Sans cette ligne, tu casses les fonctions AJAX de ton site, et certains formulaires côté public cessent de répondre.
Disallow: /wp-admin/ — oui, tu bloques le back-office, mais tu laisses passer admin-ajax.php juste au-dessus. L’ordre et la spécificité comptent : Google retient la règle la plus précise.
Disallow: /*?s= et /search/ — ça élimine les pages de résultats de recherche interne, générateur classique de contenu dupliqué et de gaspillage de budget de crawl.
Pour /tag/ et /category/, je nuance. Si ces pages sont bien travaillées et apportent du contenu, laisse-les ouvertes : bloquer tes catégories peut te faire perdre des positions sur des requêtes larges. Ne les bloque que si elles sont vraiment vides et redondantes.
Robots.txt ou balise noindex : choisir le bon outil
Si ton but est d’empêcher une page précise d’apparaître dans Google, la balise meta noindex est presque toujours la meilleure option. Pourquoi ? Parce que le robots.txt empêche le crawl, donc Google ne verra jamais ton noindex… c’est un vrai paradoxe technique que beaucoup ignorent.
Ma règle : robots.txt pour cadrer des zones entières et gérer le budget de crawl ; noindex pour bannir une page isolée. Pour passer une fiche produit en noindex, direction Yoast SEO ou Rank Math, en deux clics c’est réglé.
Comment créer le fichier sur WordPress
WordPress génère un robots.txt virtuel tout seul, même sans fichier physique. Tu as donc deux méthodes : créer un fichier physique à la racine via FTP ou gestionnaire de fichiers, ou passer par l’éditeur intégré de Yoast SEO / Rank Math.
Attention aux conflits. Si tu as à la fois un fichier physique sur le serveur et une version virtuelle via plugin, tu peux obtenir un comportement imprévisible selon la configuration serveur. Choisis une seule méthode et tiens-toi y.
Par défaut, sans fichier, WordPress écrit un simple User-agent: *, Disallow: /wp-admin/ et autorise admin-ajax. C’est déjà un point de départ correct, mais insuffisant pour un site qui veut performer.
Vérifier que ton robots.txt fonctionne
Teste toujours après modification. Le rapport « Test des fichiers robots.txt » dans la Search Console de Google te montre instantanément si une URL est bloquée. Pas de place pour l’approximation.
Autre réflexe : vérifie que ton sitemap est bien déclaré et accessible. Un fichier robots.txt WordPress sans ligne Sitemap, c’est une occasion manquée de faire découvrir tes nouvelles pages plus vite.
Les erreurs qui coûtent cher
- Un Disallow: / placé par erreur — une seule ligne, et ton site disparaît de Google en quelques jours.
- Bloquer un dossier utile puis oublier de le débloquer après une refonte.
- Un fichier avec un encodage bizarre ou un BOM invisible qui le rend illisible pour les robots.
- Bloquer les images alors que tu veux justement apparaître dans Google Images.
Et rappelle-toi que le robots.txt ne s’impose à personne : c’est une convention, pas une barrière. Les gros crawlers la respectent, les scrapers mal intentionnés s’en moquent complètement.
Voilà le fond du sujet. Un fichier robots.txt WordPress efficace, c’est trois lignes de bon sens et zéro copier-coller aveugle. Tu bloques une page isolée ? Pense noindex. Tu veux cadrer tout un site ? Pense robots.txt. Et dans tous les cas, tu vérifies dans la Search Console avant de crier victoire.
