Auditite
Zurück zum Blog
Technisches SEO Technisches SEO-Audit 2026-10-12 9 Min. Lesezeit

WordPress-robots.txt: Was hineingehört und warum

Wie die WordPress-robots.txt funktioniert: die virtuelle Standarddatei, Bearbeitung in Yoast, Rank Math oder per FTP, eine empfohlene Datei und die Regeln, die dem SEO unbemerkt schaden.

A

Auditite-Team

robots.txtWordPresstechnisches SEOCrawl-Steuerung

Die meisten WordPress-Websites haben überhaupt keine robots.txt-Datei. Rufen Sie https://yoursite.com/robots.txt auf, und Sie sehen trotzdem eine, weil WordPress sie spontan erzeugt. Diese Lücke zwischen „der Datei, die Sie sehen“ und „der Datei, die existiert“ ist der Ursprung der meisten robots.txt-Probleme bei WordPress: Man bearbeitet eine physische Datei, die ein Plugin dann ignoriert, oder eine Plugin-Einstellung, die eine physische Datei stillschweigend überschreibt.

Dieser Leitfaden erklärt, wie die WordPress-robots.txt tatsächlich funktioniert, wie Sie sie sicher bearbeiten, wie eine sinnvolle Datei für eine typische Website aussieht und welche Regeln wir aus fast jeder WordPress-robots.txt entfernen würden, die uns begegnet.

Wie WordPress die robots.txt erzeugt

WordPress enthält im Kern eine Funktion namens do_robots(). Wenn eine Anfrage für /robots.txt bei WordPress eingeht und keine physische robots.txt-Datei im Web-Root liegt, erzeugt WordPress eine virtuelle Datei und liefert sie aus.

Bei einer aktuellen WordPress-Installation mit aktivierter Sichtbarkeit für Suchmaschinen sieht die virtuelle Datei so aus:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Es spielen drei Dinge eine Rolle:

  1. Disallow: /wp-admin/ hält Crawler aus dem Admin-Bereich fern, in dem nichts Indexierenswertes liegt.
  2. Allow: /wp-admin/admin-ajax.php öffnet den einen Admin-Endpunkt wieder, den Themes und Plugins vom Frontend aus aufrufen. Wird er blockiert, kann Google Inhalte, die per AJAX geladen werden, womöglich nicht rendern.
  3. Sitemap: verweist auf die Kern-XML-Sitemap, die WordPress seit Version 5.5 mitliefert. Ersetzt ein SEO-Plugin die Kern-Sitemap, tauscht das Plugin diese Zeile meist gegen seinen eigenen Sitemap-Index aus (zum Beispiel sitemap_index.xml).

Da die Datei virtuell ist, können Plugins und Themes sie über den Filter robots_txt ändern, ohne das Dateisystem anzufassen. Genau so ergänzen Yoast SEO und Rank Math ihre Sitemap-Zeilen.

Die physische Datei hat immer Vorrang

Wenn Sie eine echte robots.txt im Web-Root hochladen, liefert Ihr Webserver sie direkt aus und WordPress führt do_robots() nie aus. Jede Plugin-Einstellung, die die virtuelle Datei bearbeitet, hat dann keine Wirkung mehr. Das ist der häufigste Grund für den Satz „Ich habe die robots.txt in meinem SEO-Plugin geändert, aber nichts ist passiert.“

Schnellprüfung: Öffnen Sie die Datei per SFTP oder im Dateimanager Ihres Hosters. Wenn robots.txt im selben Ordner wie wp-config.php liegt, wird diese Datei ausgeliefert.

So bearbeiten Sie die robots.txt in WordPress

Es gibt drei zuverlässige Wege. Wählen Sie einen und bleiben Sie dabei, damit es immer nur eine einzige Quelle der Wahrheit gibt.

Option 1: Yoast SEO

  1. Gehen Sie zu Yoast SEO → Tools → Datei-Editor.
  2. Wenn keine physische Datei existiert, bietet Yoast an, eine zu erstellen. Klicken Sie auf robots.txt-Datei erstellen.
  3. Bearbeiten und speichern.

Beachten Sie, dass der Datei-Editor von Yoast eine physische Datei schreibt. Ab diesem Zeitpunkt wird die virtuelle WordPress-Datei nicht mehr verwendet. Fehlt die Option „Datei-Editor“, ist die Dateibearbeitung auf Ihrer Installation wahrscheinlich deaktiviert (zum Beispiel über DISALLOW_FILE_EDIT in wp-config.php) oder Ihr Hoster erlaubt PHP kein Schreiben ins Web-Root.

Option 2: Rank Math

  1. Gehen Sie zu Rank Math → Allgemeine Einstellungen → robots.txt bearbeiten.
  2. Bearbeiten Sie den Inhalt und speichern Sie.

Rank Math bearbeitet die virtuelle Datei über den Filter. Existiert eine physische robots.txt, zeigt Rank Math das Feld schreibgeschützt an und weist Sie an, die physische Datei zuerst zu löschen.

Option 3: Datei selbst hochladen

  1. Erstellen Sie eine Nur-Text-Datei namens robots.txt (UTF-8, ohne BOM).
  2. Laden Sie sie per SFTP oder über den Dateimanager Ihres Hosters in das Web-Root hoch.
  3. Laden Sie https://yoursite.com/robots.txt in einem privaten Fenster, um zu bestätigen, dass der neue Inhalt ausgeliefert wird. Leeren Sie den Seiten- oder CDN-Cache, falls weiterhin die alte Version erscheint.

Diese Option ist die berechenbarste, besonders bei Managed Hosting und Multisite-Setups, weil kein Plugin sie hinter Ihrem Rücken ändern kann.

Für einen typischen WordPress-Blog oder eine Unternehmens-Website entspricht das in etwa unserer Empfehlung:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Warum jede Zeile da ist:

  • Die Admin-Regeln sind WordPress-Standard und unbedenklich.
  • /?s= und /search/ sperren URLs interner Suchergebnisse. Interne Suchseiten können unbegrenzt viele dünne, nahezu doppelte URLs erzeugen und sind eine häufige Spam-Quelle: Bots senden Suchanfragen mit Spam-Formulierungen, und diese URLs können entdeckt und gecrawlt werden. Sie zu sperren spart Crawl-Aktivität für Seiten, die zählen.
  • Sitemap: sollte auf die Sitemap zeigen, die Ihre Website tatsächlich ausliefert. Öffnen Sie sie im Browser, um zu bestätigen, dass sie XML und keinen 404-Fehler zurückgibt. Wenn Sie unsicher sind, welche Sitemap das ist, hilft Ihnen unser Leitfaden So finden Sie die Sitemap einer Website weiter.

Ergänzungen für WooCommerce

Shops ergänzen oft:

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=

Diese Seiten sind nutzerspezifisch und haben keinen Suchwert. Die Regel add-to-cart ist wichtiger, als viele denken: Jeder Produktlisten-Link mit ?add-to-cart= ist eine crawlbare URL, die Serverarbeit auslöst.

Facettenfilter (?filter_color=, ?orderby=) sind eine Ermessensfrage. Bei kleinen Katalogen lassen Sie sie crawlbar und lösen Duplikate mit Canonicals. Bei großen Katalogen, in denen sich Filter zu Tausenden von Kombinationen vervielfachen, kann es helfen, die schlimmsten Parametermuster zu blockieren. Unser Leitfaden zur Facettennavigation behandelt diese Entscheidung im Detail.

Was nicht in eine WordPress-robots.txt gehört

Hier liegen die meisten robots.txt-Tutorials falsch: Sie behandeln die Datei als Liste von „Dingen, die man verstecken will“. Die meisten robots.txt-Probleme bei WordPress entstehen durch Regeln, die vor Jahren mit guten Absichten hinzugefügt wurden.

/wp-content/ oder /wp-includes/ nicht sperren

Ältere Anleitungen empfahlen das, um WordPress-Ordner zu „schützen“. In diesen Ordnern liegen aber die CSS-, JavaScript- und Bilddateien, die Google zum Rendern Ihrer Seiten braucht. Google rendert Seiten ähnlich wie ein Browser, daher können blockierte Ressourcen Seiten für Googlebot kaputt oder leer erscheinen lassen. Auch die Google-Dokumentation warnt davor, für das Rendering nötige Ressourcen zu blockieren.

/wp-content/uploads/ nicht sperren

Dort liegen Ihre Bilder. Sperren Sie es, verschwinden Ihre Bilder aus der Google-Bildersuche, und Seiten, die für den Kontext auf sie angewiesen sind, verlieren Signale.

Nutzen Sie die robots.txt nicht, um Seiten aus Google zu entfernen

Disallow stoppt das Crawling, nicht die Indexierung. Wenn andere Websites auf eine blockierte URL verlinken, kann Google die URL selbst trotzdem indexieren, meist ohne Beschreibung, weil es die Seite nicht lesen kann. Schlimmer noch: Ein noindex-Tag auf einer blockierten Seite wird nie gesehen, weil Google sie nicht abrufen darf. Um Tag-Archive, Anhangsseiten oder dünne Seiten aus dem Index zu entfernen, verwenden Sie noindex (über Yoast oder Rank Math) und lassen Sie sie crawlbar, bis sie herausfallen.

Blockieren Sie Feeds, Tags oder Kategorien nicht reflexartig

Feeds helfen bei der Entdeckung. Kategorieseiten gehören oft zu den stärksten Hub-Seiten eines Blogs. Wenn Tag-Archive dünn sind, setzen Sie sie auf noindex; sperren Sie sie nicht in der robots.txt.

Vorsicht bei pauschalen Bot-Sperren

Seit dem Auftauchen generativer KI-Crawler haben viele Website-Betreiber Sperren wie diese eingetragen:

User-agent: GPTBot
Disallow: /

Das ist eine legitime unternehmerische Entscheidung. Seien Sie nur präzise bei den User-Agents, die Sie blockieren. Wenn Sie Googlebot blockieren oder User-agent: * / Disallow: / hinzufügen, um KI-Bots auszusperren, verschwinden Sie vollständig aus der Suche. Das KI-Training-Opt-out von Google nutzt ein separates Token, Google-Extended, das das Crawling für die Google-Suche nicht beeinträchtigt.

Das Kontrollkästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“

Unter Einstellungen → Lesen hat WordPress ein Kontrollkästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“. Es ist für Staging- und Entwicklungsumgebungen gedacht. Aktuelle WordPress-Versionen setzen es hauptsächlich über ein noindex-Robots-Meta-Tag um, statt sich auf die robots.txt zu verlassen.

Der klassische Fehlerfall: Eine Website wird auf Staging mit aktiviertem Häkchen gebaut, in die Produktion migriert und mit weiterhin aktiviertem Häkchen gestartet. Wenige Wochen später bricht der Traffic ein. Nehmen Sie „Sichtbarkeit für Suchmaschinen“ in jede Launch-Checkliste auf und prüfen Sie sie auf der Live-Seite als Teil einer Checkliste für die Website-Migration.

So testen Sie Ihre WordPress-robots.txt

  1. Rufen Sie sie direkt auf unter https://yoursite.com/robots.txt und bestätigen Sie, dass sie Status 200 mit text/plain-Inhalt liefert. Ein 5xx-Fehler bei der robots.txt ist ernst: Google behandelt die gesamte Website unter Umständen vorübergehend als gesperrt.
  2. Prüfen Sie den robots.txt-Bericht in der Google Search Console (unter Einstellungen). Er zeigt, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und welche Parsing-Probleme es gibt.
  3. Wichtige URLs testen mit dem URL-Prüftool, um zu bestätigen, dass sie nicht blockiert sind.
  4. Validieren Sie die Syntax mit einem Robots.txt-Validator, bevor Sie Änderungen ausspielen.
  5. Nach Plugin-Änderungen erneut prüfen. Der Wechsel von SEO-Plugins ändert oft die Sitemap-Zeile, und die alte URL liefert womöglich einen 404.

Ein durchgerechnetes Beispiel

Hier eine übernommene robots.txt, die wir auf der Stelle neu schreiben würden (zur Veranschaulichung, aber sehr repräsentativ):

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /feed/
Disallow: /*?*

Sitemap: https://example.com/sitemap.xml

Probleme, nach Schweregrad sortiert:

  1. /wp-includes/, /wp-content/plugins/ und /wp-content/themes/ blockieren CSS und JavaScript, die Google zum Rendern der Seite braucht.
  2. /*?* blockiert jede URL mit Query-String, einschließlich legitimer paginierter oder getrackter URLs und admin-ajax.php-Aufrufe mit Parametern.
  3. /tag/ blockiert Tag-Archive, aber sie bleiben über Links indexiert, nun ohne Inhalt, den Google lesen kann. noindex ist das richtige Mittel.
  4. /feed/ entfernt einen nützlichen Entdeckungspfad ohne jeden Vorteil.
  5. Die Sitemap-URL verweist auf sitemap.xml, aber die Website nutzt Yoast, das sitemap_index.xml ausliefert.

Die korrigierte Version ist die zuvor gezeigte empfohlene Datei, ergänzt um noindex für Tag-Archive, gesetzt im SEO-Plugin.

Einen breiteren Überblick zu Direktiven, Platzhaltern und Crawl-Budget finden Sie in unserem Leitfaden zu Robots.txt Best Practices und im technischen SEO-Audit für WordPress.

Häufig gestellte Fragen

Wo befindet sich die robots.txt-Datei in WordPress?

Bei den meisten Installationen gibt es keine physische Datei. WordPress erzeugt eine virtuelle robots.txt, wenn /robots.txt aufgerufen wird. Existiert eine echte Datei, liegt sie im Web-Root, im selben Ordner wie wp-config.php, und überschreibt die virtuelle.

Wie bearbeite ich die robots.txt in WordPress ohne Plugin?

Erstellen Sie eine Nur-Text-Datei namens robots.txt, laden Sie sie per SFTP oder über den Dateimanager Ihres Hosters in Ihr Web-Root hoch und leeren Sie jeden Seiten- oder CDN-Cache. Die physische Datei ersetzt die virtuelle WordPress-Datei sofort.

Warum werden meine Änderungen an der robots.txt in Yoast oder Rank Math nicht angezeigt?

Meist, weil eine physische robots.txt-Datei existiert und der Server sie statt der virtuellen Version des Plugins ausliefert oder weil ein Cache noch die alte Datei ausliefert. Prüfen Sie das Web-Root und leeren Sie die Caches.

Sollte ich wp-content in der robots.txt sperren?

Nein. wp-content enthält das CSS, JavaScript und die Bilder, die Google zum Rendern Ihrer Seiten braucht. Wird es blockiert, können Seiten für Googlebot defekt aussehen, und Bilder verschwinden aus der Google-Bildersuche.

Kann die robots.txt eine WordPress-Seite aus Google entfernen?

Nein. Disallow stoppt nur das Crawling. Um eine Seite aus den Suchergebnissen zu entfernen, fügen Sie eine noindex-Direktive hinzu und lassen die Seite crawlbar, damit Google sie sehen kann.

Bleiben Sie auf dem Laufenden

Erhalten Sie Einblicke, Strategien und Produkt-Updates direkt in Ihr Postfach.

Kein Spam. Jederzeit abbestellbar.

Möchten Sie Auditite in Aktion sehen?

Legen Sie los und erleben Sie, wie Auditite Ihren SEO-Audit-Workflow verändern kann.

Loslegen
Loslegen

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.