Best-Practices-Leitfaden zur robots.txt für SEO-Teams
Lernen Sie Best Practices für die robots.txt, um den Crawler-Zugriff zu steuern, sensible Seiten zu schützen und Ihr Crawl-Budget effektiv zu optimieren.
Auditite-Team
Inhaltsverzeichnis
Die robots.txt und ihre Rolle im SEO verstehen
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, auf welche Bereiche Ihrer Website sie zugreifen dürfen und auf welche nicht. Trotz ihrer Einfachheit gehört eine fehlerhafte Konfiguration der robots.txt zu den häufigsten technischen SEO-Fehlern – und zu den schädlichsten.
Eine einzige falsch platzierte Direktive kann Ihre gesamte Website von der Indexierung ausschließen, während eine zu großzügige Datei Crawl-Budget auf Seiten verschwenden kann, die nie in den Suchergebnissen erscheinen sollten.
So funktioniert die Robots.txt
Wenn ein Suchmaschinen-Crawler Ihre Domain erreicht, fragt er zuerst https://yourdomain.com/robots.txt an. Anhand der dort gefundenen Direktiven entscheidet der Crawler, welche URLs er besuchen darf.
Wichtige Anweisungen sind:
- User-agent – Legt fest, für welchen Crawler die Regeln gelten (z. B.
Googlebot,Bingbotoder*für alle) - Disallow – Sperrt den angegebenen Pfad für das Crawling
- Allow – Erlaubt das Crawling eines Pfads ausdrücklich (nützlich, um umfassendere Disallow-Regeln zu überschreiben)
- Sitemap – verweist Crawler auf Ihre XML-Sitemap
- Crawl-delay – Weist bestimmte Bots an, zwischen Anfragen zu warten (wird von Googlebot nicht beachtet)
Wichtige Einschränkungen
Robots.txt ist eine Anweisung, keine Sicherheitsmaßnahme. Gut erzogene Bots halten sich daran, bösartige Bots ignorieren sie vollständig. Verwenden Sie robots.txt niemals, um sensible Informationen zu verbergen — nutzen Sie stattdessen serverseitige Authentifizierung.
Außerdem verhindert das Sperren einer Seite per robots.txt nicht, dass sie in den Suchergebnissen erscheint. Wenn andere Websites auf eine gesperrte Seite verlinken, kann Google die URL dennoch (ohne Inhalt) indexieren. Um die Indexierung vollständig zu verhindern, verwenden Sie stattdessen das noindex-Meta-Tag.
Grundlegende robots.txt-Regeln für jede Website
Interne Suchergebnisse blockieren
Seiten mit internen Suchergebnissen erzeugen nahezu unendlich viele URL-Kombinationen, die Crawl-Budget verschwenden und Gefahr laufen, als Thin oder Duplicate Content eingestuft zu werden:
Disallow: /search
Disallow: /search?
Facettennavigation blockieren
Onlineshops mit Filtern für Farbe, Größe, Preisspanne und weitere Attribute erzeugen Tausende parameterbasierter URLs. Sperren Sie diese gefilterten Pfade:
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Admin- und Login-Bereiche blockieren
Crawler haben in Ihrem Admin-Bereich, auf Login-Seiten oder in der Kontoverwaltung nichts verloren:
Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/
Warenkorb- und Checkout-Seiten sperren
Warenkorb- und Checkout-Seiten sind sitzungsspezifisch und haben keinen SEO-Wert:
Disallow: /cart
Disallow: /checkout
Pfade mit Duplicate Content blockieren
Wenn Ihr CMS für denselben Content mehrere URL-Muster erzeugt (z. B. Tag-Archive, datumsbasierte Archive), blockieren Sie die Duplikate:
Disallow: /tag/
Disallow: /author/
Verweis auf Ihre Sitemap aufnehmen
Fügen Sie am Ende Ihrer robots.txt immer eine Sitemap-Direktive ein:
Sitemap: https://yourdomain.com/sitemap-index.xml
Häufige Robots.txt-Fehler, die Sie vermeiden sollten
Blockierte CSS- und JavaScript-Dateien
Vor Jahren war es üblich, CSS- und JS-Dateien für Crawler zu blockieren. Heute ist das schädlich, weil Google Ihre Seiten vollständig rendern muss, um ihre Qualität zu beurteilen. Kann Googlebot nicht auf Ihr CSS und JS zugreifen, kann er Ihre Core Web Vitals nicht richtig bewerten oder Ihr Seitenlayout nicht verstehen.
Disallow: / verwenden, ohne die Folgen zu kennen
Eine einzelne Disallow: /-Direktive unter User-agent: * sperrt Ihre gesamte Website für alle Crawler. Sie wird manchmal während der Entwicklung hinzugefügt und nach dem Launch versehentlich belassen. Prüfen Sie Ihre robots.txt immer nach Website-Migrationen oder Relaunches.
Widersprüchliche Allow- und Disallow-Regeln
Wenn mehrere Regeln für denselben URL-Pfad gelten, verwenden Suchmaschinen die spezifischste passende Regel. Sich darauf zu verlassen, sorgt jedoch für Verwirrung und Wartungsaufwand. Halten Sie Ihre Regeln klar und überschneidungsfrei.
Nach Website-Änderungen nicht aktualisieren
Ihre robots.txt sollte sich mit Ihrer Website weiterentwickeln. Neue URL-Muster, veraltete Bereiche und strukturelle Änderungen erfordern jeweils Anpassungen der robots.txt. Nehmen Sie die Prüfung der robots.txt in Ihren regelmäßigen Technical-SEO-Audit auf.
Robots.txt für verschiedene Plattformen
WordPress
WordPress liefert eine virtuelle robots.txt aus, sofern keine physische Datei existiert; unser Leitfaden zur WordPress-robots.txt erklärt, wie Sie sie in Yoast, Rank Math oder per FTP sicher bearbeiten. WordPress-Websites müssen häufig Folgendes sperren:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/
Shopify
Shopify erzeugt standardmäßig eine robots.txt, die meist gut konfiguriert ist, sich aber über die Template-Datei robots.txt.liquid anpassen lässt. Typische Ergänzungen sind das Blockieren von Filterseiten für Kollektionen und von Variant-URLs.
Next.js und Single-Page-Anwendungen
JavaScript-lastige Websites verlangen besondere Aufmerksamkeit. Stellen Sie sicher, dass Sie die JavaScript-Bundles nicht blockieren, die Googlebot zum Rendern Ihrer Seiten braucht. Mehr dazu in unserem ausführlichen Leitfaden zu JavaScript-SEO.
Ihre robots.txt testen
Die robots.txt ist auch die erste Anlaufstelle, wenn Sie den Speicherort der Sitemap einer Website brauchen; siehe So finden Sie die Sitemap einer Website.
URL-Prüfung in der Google Search Console
Nutzen Sie das URL-Prüftool, um zu kontrollieren, ob bestimmte URLs durch Ihre robots.txt blockiert sind. Das ist der verlässlichste Test, da er den tatsächlichen Parser von Google verwendet.
Robots.txt-Tester
Mehrere Online-Tools können die Syntax Ihrer robots.txt validieren und bestimmte URLs gegen Ihre Regeln testen. Führen Sie diese Tests nach jeder Änderung durch.
Automatisiertes Monitoring
Richten Sie ein automatisiertes Monitoring ein, das Sie warnt, wenn sich Ihre robots.txt unerwartet ändert. Eine versehentliche Änderung beim Deployment könnte kritische Seiten vom Crawling ausschließen. Auditite überwacht Ihre robots.txt und benachrichtigt Sie über jede Änderung, die sich auf SEO auswirken könnte.
Fortgeschrittene Robots.txt-Techniken
Crawl-Delay für Nicht-Google-Bots
Googlebot ignoriert die Direktive Crawl-delay, andere Bots wie Bingbot und Yandex beachten sie jedoch. Wenn sekundäre Crawler Ihren Server überlasten, fügen Sie eine Crawl-Verzögerung hinzu:
User-agent: Bingbot
Crawl-delay: 5
Mustererkennung mit Platzhaltern
In robots.txt-Pfaden können sowohl * (entspricht beliebigen Zeichenfolgen) als auch $ (entspricht dem Ende der URL) verwendet werden:
Disallow: /*.pdf$– Blockiert alle PDF-DateienDisallow: /*?sessionid=– Blockiert URLs mit Session-ParameternDisallow: /category/*/feed/– blockiert Feeds unter Kategoriepfaden
Bot-spezifische Regeln
Sie können unterschiedliche Regeln für verschiedene Crawler erstellen. Das ist nützlich, wenn Google bestimmte Seiten crawlen soll, Bing aber nicht, oder umgekehrt:
User-agent: Googlebot
Allow: /special-section/
User-agent: Bingbot
Disallow: /special-section/
Audit-Checkliste für die robots.txt
Gehen Sie bei jedem technischen SEO-Audit diese Checkliste durch:
- Datei ist erreichbar unter
https://yourdomain.com/robots.txt - Keine kritischen Seiten sind blockiert (Startseite, Produktseiten, Blogbeiträge)
- CSS- und JS-Dateien sind nicht blockiert
- Wenig wertvolle Seiten sind korrekt blockiert (Suche, Filter, Admin)
- Sitemap-URL ist enthalten
- Es gibt keine widersprüchlichen Direktiven
- Die Syntax ist gültig und korrekt formatiert
- Datei entspricht der aktuellen Website-Struktur (keine veralteten Regeln)
Wichtigste Erkenntnisse
Ihre robots.txt-Datei ist ein mächtiges, aber grobes Instrument zur Steuerung des Crawler-Zugriffs. Nutzen Sie sie strategisch zum Schutz Ihres Crawl-Budgets, aber denken Sie daran, dass sie kein Ersatz für saubere Noindex-Tags, Canonical-Tags oder serverseitige Zugriffskontrollen ist. Prüfen Sie sie regelmäßig, testen Sie jede Änderung und halten Sie sie stets im Einklang mit Ihrer aktuellen Website-Architektur.
Bleiben Sie auf dem Laufenden
Erhalten Sie Einblicke, Strategien und Produkt-Updates direkt in Ihr Postfach.
Kein Spam. Jederzeit abbestellbar.
Möchten Sie Auditite in Aktion sehen?
Legen Sie los und erleben Sie, wie Auditite Ihren SEO-Audit-Workflow verändern kann.
Loslegen