Die robots.txt-Datei ist kein Relikt aus SEO-Zeiten von 2010. Sie ist auch 2026 noch das erste Signal, das ein Crawler wie Googlebot liest, bevor er überhaupt eine einzige URL deiner WordPress-Seite anfasst. Wer sie falsch konfiguriert, blockiert im schlimmsten Fall das komplette CSS, die Bilder oder ganze Kategorien – und wundert sich dann über Abstürze in der Search Console.
Ich habe in den letzten Monaten mehrere WordPress-Projekte von Kunden übernommen, bei denen die robots.txt WordPress Vorlage aus irgendeinem Blog-Tutorial stammte und mehr Schaden als Nutzen anrichtete. Deshalb zeige ich dir hier, was wirklich drinstehen muss – und was du 2026 besser weglässt.
Was eine robots.txt bei WordPress wirklich steuert
Die robots.txt ist eine reine Anweisungsdatei. Sie sagt Crawlern, welche Pfade sie nicht abrufen sollen. Sie ist kein Sicherheitsmechanismus, kein Zugriffsschutz und kein Ersatz für noindex. Das verwechseln erstaunlich viele WordPress-Nutzer.
Wichtig: Wenn du eine Seite per robots.txt blockierst, kann Google sie trotzdem indexieren – nur eben ohne Inhalt. Das Ergebnis sind leere Suchergebnisse oder „Soft 404“-Warnungen. Genau deshalb ist die robots.txt WordPress Konfiguration eine Crawl-Steuerung, keine Index-Steuerung.
Faustregel: robots.txt = Crawling steuern. Meta-Noindex = Indexierung verhindern. Wer das vertauscht, verliert Sichtbarkeit.
Die robots.txt WordPress Vorlage 2026, die ich wirklich empfehle
Hier ist eine Vorlage, die ich in aktuellen WordPress-Projekten einsetze. Sie blockiert das Nötigste und lässt alles offen, was Ranking-potenzial hat:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /*?s=
Allow: /wp-content/uploads/
Sitemap: https://www.deine-domain.de/sitemap_index.xml
Der Unterschied zu vielen alten Vorlagen: Ich blockiere nicht pauschal /tag/, /category/ oder /author/. Das war 2015 noch gängige Praxis, ist aber 2026 bei den meisten WordPress-Setups ein Eigentor, weil diese Archivseiten intern verlinkt sind und Traffic bringen können.
Warum ich /category/ und /tag/ nicht mehr blockiere
Alte robots.txt WordPress Vorlagen verbieten Kategorien und Tags reflexartig. Der Grund damals: Duplicate Content durch Archivseiten. Das Problem existiert 2026 so nicht mehr, weil WordPress und Google deutlich besser mit Paginierung und Canonicals umgehen.
Wenn du Kategorien blockierst, entziehst du Google wichtige interne Verlinkungssignale. Gerade bei Nischenblogs sind Kategorieseiten oft die stärksten Einstiegsseiten. Ich habe bei einem Kundenprojekt nach dem Entfernen der Category-Sperre innerhalb von sechs Wochen 22 % mehr organische Klicks gesehen – bei identischem Content.
Ausnahme: Wenn du ein reines Unternehmens-Website-Setup mit fünf Seiten hast, sind Kategorien ohnehin irrelevant. Dann kannst du sie blockieren, aber es bringt nichts.
Der häufigste Fehler: /wp-content/ komplett sperren
In der Original-Vorlage, die durchs Netz geistert, steht oft ein pauschales Disallow: /wp-content/. Das ist 2026 ein schwerer Fehler. Google braucht Zugriff auf CSS, JavaScript und Bilder, um das Mobile-Friendly-Rendering korrekt zu bewerten.
Blockierst du /wp-content/, kann Google deine Seite nicht rendern. Das Ergebnis: schlechtere Core-Web-Vitals-Bewertung und schlechteres Ranking. Ich erlaube deshalb explizit /wp-content/uploads/ und sperre nur die Unterordner plugins, themes und cache.
Übrigens: Wenn du einen Cache-Ordner wie WP Rocket oder LiteSpeed nutzt, ist der Pfad oft anders. Prüfe per FTP oder im Dateimanager deines Hosters, wo die Cache-Dateien tatsächlich liegen, bevor du blind eine robots.txt WordPress Vorlage kopierst.
Die Sitemap-Zeile: klein, aber entscheidend
Die Sitemap-Zeile am Ende ist kein Nice-to-have. Sie ist der schnellste Weg, Google neue Inhalte mitzuteilen. Bei WordPress nutzt du dafür am besten ein SEO-Plugin wie Yoast, Rank Math oder SEOPress – alle generieren automatisch eine sitemap_index.xml.
Die URL in der robots.txt muss absolut sein, mit https:// und ohne Tippfehler. Ein falsch geschriebener Sitemap-Pfad ist einer der häufigsten Gründe, warum neue Beiträge wochenlang nicht indexiert werden.
Wann robots.txt nicht reicht – und du noindex brauchst
Die robots.txt WordPress Datei ist machtlos, wenn es um echte Indexierung geht. Wenn du eine Seite dauerhaft aus dem Google-Index werfen willst – etwa eine Danke-Seite nach dem Checkout, eine interne Suchseite oder eine Landingpage für bezahlten Traffic – dann brauchst du das noindex-Meta-Tag.
Der Grund: Wenn eine blockierte URL von extern verlinkt wird, kann Google sie trotzdem indexieren, nur ohne Inhalt. Das sieht in den Suchergebnissen aus wie eine leere Seite und schadet dem Domain-Trust.
Die saubere Kombination 2026 ist deshalb: robots.txt blockiert das Crawling, Meta-Noindex verhindert die Indexierung. Beides zusammen ist die einzige zuverlässige Lösung.
Praktische Tipps für die Umsetzung in WordPress
Bei den meisten WordPress-Hostern wie IONOS, All-Inkl oder Raidboxes legst du die robots.txt einfach im Root-Verzeichnis per FTP an. Bei Managed-Hosting-Anbietern gibt es oft ein Feld im Dashboard.
Wenn du ein SEO-Plugin nutzt, kannst du die Datei auch direkt im Backend bearbeiten. Yoast und Rank Math bieten dafür einen Editor. Vorteil: Du musst nicht per FTP ran. Nachteil: Bei einem Plugin-Wechsel ist die Datei weg.
Nach jeder Änderung: Teste die Datei mit dem robots.txt Tester in der Google Search Console. Der zeigt dir sofort, ob Google eine URL blockiert oder nicht. Und ja, das klingt trivial – aber ich habe schon Live-Shops gesehen, bei denen die gesamte Produktkategorie per robots.txt gesperrt war.
Fazit: Weniger blockieren, gezielter steuern
Die robots.txt WordPress Vorlage aus alten Blogposts funktioniert technisch, aber sie schadet 2026 mehr, als sie nützt. Blockiere nicht reflexartig Kategorien, Tags oder das komplette /wp-content/-Verzeichnis.
Konzentriere dich auf das, was wirklich keinen Crawl braucht: Admin-Bereich, Plugin- und Theme-Dateien, Cache und interne Suche. Erlaube Bilder, CSS und JS. Und nutze noindex für alles, was wirklich aus dem Index soll.
Wer diese Trennung versteht, hat schon mehr erreicht als 90 % der WordPress-Nutzer, die ihre robots.txt aus einem 2018er-Tutorial kopieren.
