Auditite
Zurück zum Blog
Technisches SEO Technisches SEO-Audit 2025-07-02 8 Min. Lesezeit

Best-Practices-Leitfaden zur robots.txt für SEO-Teams

Lernen Sie Best Practices für die robots.txt, um den Crawler-Zugriff zu steuern, sensible Seiten zu schützen und Ihr Crawl-Budget effektiv zu optimieren.

A

Auditite-Team

robots.txttechnisches SEOCrawl-SteuerungGooglebot

Die robots.txt und ihre Rolle im SEO verstehen

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, auf welche Bereiche Ihrer Website sie zugreifen dürfen und auf welche nicht. Trotz ihrer Einfachheit gehört eine fehlerhafte Konfiguration der robots.txt zu den häufigsten technischen SEO-Fehlern – und zu den schädlichsten.

Eine einzige falsch platzierte Direktive kann Ihre gesamte Website von der Indexierung ausschließen, während eine zu großzügige Datei Crawl-Budget auf Seiten verschwenden kann, die nie in den Suchergebnissen erscheinen sollten.

So funktioniert die Robots.txt

Wenn ein Suchmaschinen-Crawler Ihre Domain erreicht, fragt er zuerst https://yourdomain.com/robots.txt an. Anhand der dort gefundenen Direktiven entscheidet der Crawler, welche URLs er besuchen darf.

Wichtige Anweisungen sind:

  • User-agent – Legt fest, für welchen Crawler die Regeln gelten (z. B. Googlebot, Bingbot oder * für alle)
  • Disallow – Sperrt den angegebenen Pfad für das Crawling
  • Allow – Erlaubt das Crawling eines Pfads ausdrücklich (nützlich, um umfassendere Disallow-Regeln zu überschreiben)
  • Sitemap – verweist Crawler auf Ihre XML-Sitemap
  • Crawl-delay – Weist bestimmte Bots an, zwischen Anfragen zu warten (wird von Googlebot nicht beachtet)

Wichtige Einschränkungen

Robots.txt ist eine Anweisung, keine Sicherheitsmaßnahme. Gut erzogene Bots halten sich daran, bösartige Bots ignorieren sie vollständig. Verwenden Sie robots.txt niemals, um sensible Informationen zu verbergen — nutzen Sie stattdessen serverseitige Authentifizierung.

Außerdem verhindert das Sperren einer Seite per robots.txt nicht, dass sie in den Suchergebnissen erscheint. Wenn andere Websites auf eine gesperrte Seite verlinken, kann Google die URL dennoch (ohne Inhalt) indexieren. Um die Indexierung vollständig zu verhindern, verwenden Sie stattdessen das noindex-Meta-Tag.

Grundlegende robots.txt-Regeln für jede Website

Interne Suchergebnisse blockieren

Seiten mit internen Suchergebnissen erzeugen nahezu unendlich viele URL-Kombinationen, die Crawl-Budget verschwenden und Gefahr laufen, als Thin oder Duplicate Content eingestuft zu werden:

Disallow: /search
Disallow: /search?

Facettennavigation blockieren

Onlineshops mit Filtern für Farbe, Größe, Preisspanne und weitere Attribute erzeugen Tausende parameterbasierter URLs. Sperren Sie diese gefilterten Pfade:

Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=

Admin- und Login-Bereiche blockieren

Crawler haben in Ihrem Admin-Bereich, auf Login-Seiten oder in der Kontoverwaltung nichts verloren:

Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/

Warenkorb- und Checkout-Seiten sperren

Warenkorb- und Checkout-Seiten sind sitzungsspezifisch und haben keinen SEO-Wert:

Disallow: /cart
Disallow: /checkout

Pfade mit Duplicate Content blockieren

Wenn Ihr CMS für denselben Content mehrere URL-Muster erzeugt (z. B. Tag-Archive, datumsbasierte Archive), blockieren Sie die Duplikate:

Disallow: /tag/
Disallow: /author/

Verweis auf Ihre Sitemap aufnehmen

Fügen Sie am Ende Ihrer robots.txt immer eine Sitemap-Direktive ein:

Sitemap: https://yourdomain.com/sitemap-index.xml

Häufige Robots.txt-Fehler, die Sie vermeiden sollten

Blockierte CSS- und JavaScript-Dateien

Vor Jahren war es üblich, CSS- und JS-Dateien für Crawler zu blockieren. Heute ist das schädlich, weil Google Ihre Seiten vollständig rendern muss, um ihre Qualität zu beurteilen. Kann Googlebot nicht auf Ihr CSS und JS zugreifen, kann er Ihre Core Web Vitals nicht richtig bewerten oder Ihr Seitenlayout nicht verstehen.

Disallow: / verwenden, ohne die Folgen zu kennen

Eine einzelne Disallow: /-Direktive unter User-agent: * sperrt Ihre gesamte Website für alle Crawler. Sie wird manchmal während der Entwicklung hinzugefügt und nach dem Launch versehentlich belassen. Prüfen Sie Ihre robots.txt immer nach Website-Migrationen oder Relaunches.

Widersprüchliche Allow- und Disallow-Regeln

Wenn mehrere Regeln für denselben URL-Pfad gelten, verwenden Suchmaschinen die spezifischste passende Regel. Sich darauf zu verlassen, sorgt jedoch für Verwirrung und Wartungsaufwand. Halten Sie Ihre Regeln klar und überschneidungsfrei.

Nach Website-Änderungen nicht aktualisieren

Ihre robots.txt sollte sich mit Ihrer Website weiterentwickeln. Neue URL-Muster, veraltete Bereiche und strukturelle Änderungen erfordern jeweils Anpassungen der robots.txt. Nehmen Sie die Prüfung der robots.txt in Ihren regelmäßigen Technical-SEO-Audit auf.

Robots.txt für verschiedene Plattformen

WordPress

WordPress liefert eine virtuelle robots.txt aus, sofern keine physische Datei existiert; unser Leitfaden zur WordPress-robots.txt erklärt, wie Sie sie in Yoast, Rank Math oder per FTP sicher bearbeiten. WordPress-Websites müssen häufig Folgendes sperren:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/

Shopify

Shopify erzeugt standardmäßig eine robots.txt, die meist gut konfiguriert ist, sich aber über die Template-Datei robots.txt.liquid anpassen lässt. Typische Ergänzungen sind das Blockieren von Filterseiten für Kollektionen und von Variant-URLs.

Next.js und Single-Page-Anwendungen

JavaScript-lastige Websites verlangen besondere Aufmerksamkeit. Stellen Sie sicher, dass Sie die JavaScript-Bundles nicht blockieren, die Googlebot zum Rendern Ihrer Seiten braucht. Mehr dazu in unserem ausführlichen Leitfaden zu JavaScript-SEO.

Ihre robots.txt testen

Die robots.txt ist auch die erste Anlaufstelle, wenn Sie den Speicherort der Sitemap einer Website brauchen; siehe So finden Sie die Sitemap einer Website.

URL-Prüfung in der Google Search Console

Nutzen Sie das URL-Prüftool, um zu kontrollieren, ob bestimmte URLs durch Ihre robots.txt blockiert sind. Das ist der verlässlichste Test, da er den tatsächlichen Parser von Google verwendet.

Robots.txt-Tester

Mehrere Online-Tools können die Syntax Ihrer robots.txt validieren und bestimmte URLs gegen Ihre Regeln testen. Führen Sie diese Tests nach jeder Änderung durch.

Automatisiertes Monitoring

Richten Sie ein automatisiertes Monitoring ein, das Sie warnt, wenn sich Ihre robots.txt unerwartet ändert. Eine versehentliche Änderung beim Deployment könnte kritische Seiten vom Crawling ausschließen. Auditite überwacht Ihre robots.txt und benachrichtigt Sie über jede Änderung, die sich auf SEO auswirken könnte.

Fortgeschrittene Robots.txt-Techniken

Crawl-Delay für Nicht-Google-Bots

Googlebot ignoriert die Direktive Crawl-delay, andere Bots wie Bingbot und Yandex beachten sie jedoch. Wenn sekundäre Crawler Ihren Server überlasten, fügen Sie eine Crawl-Verzögerung hinzu:

User-agent: Bingbot
Crawl-delay: 5

Mustererkennung mit Platzhaltern

In robots.txt-Pfaden können sowohl * (entspricht beliebigen Zeichenfolgen) als auch $ (entspricht dem Ende der URL) verwendet werden:

  • Disallow: /*.pdf$ – Blockiert alle PDF-Dateien
  • Disallow: /*?sessionid= – Blockiert URLs mit Session-Parametern
  • Disallow: /category/*/feed/ – blockiert Feeds unter Kategoriepfaden

Bot-spezifische Regeln

Sie können unterschiedliche Regeln für verschiedene Crawler erstellen. Das ist nützlich, wenn Google bestimmte Seiten crawlen soll, Bing aber nicht, oder umgekehrt:

User-agent: Googlebot
Allow: /special-section/

User-agent: Bingbot
Disallow: /special-section/

Audit-Checkliste für die robots.txt

Gehen Sie bei jedem technischen SEO-Audit diese Checkliste durch:

  • Datei ist erreichbar unter https://yourdomain.com/robots.txt
  • Keine kritischen Seiten sind blockiert (Startseite, Produktseiten, Blogbeiträge)
  • CSS- und JS-Dateien sind nicht blockiert
  • Wenig wertvolle Seiten sind korrekt blockiert (Suche, Filter, Admin)
  • Sitemap-URL ist enthalten
  • Es gibt keine widersprüchlichen Direktiven
  • Die Syntax ist gültig und korrekt formatiert
  • Datei entspricht der aktuellen Website-Struktur (keine veralteten Regeln)

Wichtigste Erkenntnisse

Ihre robots.txt-Datei ist ein mächtiges, aber grobes Instrument zur Steuerung des Crawler-Zugriffs. Nutzen Sie sie strategisch zum Schutz Ihres Crawl-Budgets, aber denken Sie daran, dass sie kein Ersatz für saubere Noindex-Tags, Canonical-Tags oder serverseitige Zugriffskontrollen ist. Prüfen Sie sie regelmäßig, testen Sie jede Änderung und halten Sie sie stets im Einklang mit Ihrer aktuellen Website-Architektur.

Bleiben Sie auf dem Laufenden

Erhalten Sie Einblicke, Strategien und Produkt-Updates direkt in Ihr Postfach.

Kein Spam. Jederzeit abbestellbar.

Möchten Sie Auditite in Aktion sehen?

Legen Sie los und erleben Sie, wie Auditite Ihren SEO-Audit-Workflow verändern kann.

Loslegen
Loslegen

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.