Auditite
Alle Playbooks
Leitfaden Technical-SEO-Spezialist

Leitfaden zu Best Practices für die robots.txt mit Auditite

Meistern Sie die robots.txt-Konfiguration, um den Crawl-Zugriff zu steuern, sensible Seiten zu schützen und das Crawl-Budget optimal zu verteilen.

Überblick

Die robots.txt-Datei steuert, auf welche Bereiche Ihrer Website Suchmaschinen-Crawler zugreifen dürfen. Eine falsch konfigurierte robots.txt kann wichtige Seiten von der Indexierung ausschließen oder Crawl-Budget auf wenig wertvolle URLs verschwenden. Dieser Leitfaden behandelt Best Practices für alle gängigen Szenarien.

Schritt 1: Ihre aktuelle robots.txt prüfen

  1. Rufen Sie Ihre robots.txt unter yourdomain.com/robots.txt auf.
  2. Testen Sie sie mit dem robots.txt-Tester der Google Search Console.
  3. Prüfen Sie, dass keine wichtigen Seiten oder Ressourcen versehentlich blockiert sind.
  4. Prüfen Sie, dass für das Rendering benötigte CSS- und JavaScript-Dateien nicht blockiert sind.

Schritt 2: Die Syntax verstehen

Grundlegende Direktiven

DirektiveZweck
User-agentLegt fest, für welchen Crawler die Regeln gelten
DisallowSperrt den angegebenen Pfad für das Crawling
AllowHebt ein Disallow für einen spezifischeren Pfad auf
SitemapVerweist auf den Speicherort Ihrer XML-Sitemap
Crawl-delayFordert eine Verzögerung zwischen Anfragen an (wird von Google nicht beachtet)

Vorrangregeln

  • Spezifischere Pfade überschreiben weniger spezifische Pfade.
  • Allow hat Vorrang vor Disallow, wenn die Pfadlängen gleich sind.
  • Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden.
  • Platzhalter (*) stehen für beliebige Zeichenfolgen.
  • Das Zeichen $ markiert das Ende einer URL.

Schritt 3: Häufige Konfigurationsmuster

Admin- und interne Seiten blockieren

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/

Suchergebnisse und Filter blockieren

Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=

Bestimmte Ressourcen in gesperrten Verzeichnissen erlauben

Disallow: /private/
Allow: /private/public-page/

Bestimmte Dateitypen blockieren

Disallow: /*.pdf$
Disallow: /*.doc$

Schritt 4: Crawl-Budget optimieren

  1. Blockieren Sie URL-Parameter, die Duplicate Content erzeugen (Sortierung, Session-IDs, Tracking-Parameter).
  2. Seiten mit internen Suchergebnissen blockieren – sie haben selten SEO-Wert und können endlos viele URLs erzeugen.
  3. Blockieren Sie paginierte Filterkombinationen, die Sie per Canonical-Tags behandeln.
  4. Blockieren Sie keine Seiten, die Sie auf noindex setzen möchten – verwenden Sie stattdessen Meta Robots. Eine Sperre per robots.txt verhindert, dass Google die noindex-Anweisung sieht.

Schritt 5: Häufige Fehler vermeiden

CSS und JavaScript blockieren

Google muss Ihre Seiten rendern, um sie zu bewerten. Das Blockieren von CSS- oder JS-Dateien in der robots.txt verhindert das Rendering und kann Rankings schaden.

Die robots.txt zum Deindexieren verwenden

Die robots.txt verhindert das Crawling, nicht die Indexierung. Wenn externe Links auf eine Seite verweisen, kann Google sie trotzdem indexieren, ohne sie zu crawlen. Verwenden Sie zum Deindexieren noindex-Meta-Tags.

Zu weit gefasste Disallow-Regeln

Ein Disallow: / blockiert Ihre gesamte Website. Ein Disallow: /blog blockiert sowohl /blog/ als auch /blogging-tips/. Verwenden Sie bei Verzeichnissen immer abschließende Schrägstriche.

Die Sitemap-Direktive vergessen

Geben Sie den Speicherort Ihrer Sitemap immer am Ende der robots.txt an:

Sitemap: https://yourdomain.com/sitemap.xml

Schritt 6: Testen und Monitoring

  1. Testen Sie nach jeder Änderung der robots.txt die aktualisierte Datei in der Google Search Console.
  2. Prüfen Sie mit dem URL-Prüftool, dass Ihre wichtigsten Seiten nicht blockiert sind.
  3. Beobachten Sie die Crawling-Statistiken der Google Search Console auf Veränderungen der Crawl-Rate nach Änderungen an der robots.txt.
  4. Nutzen Sie Auditite, um Ihre robots.txt-Konfiguration zusammen mit Ihrem vollständigen Website-Crawl zu auditieren.
  5. Führen Sie einen Versionsverlauf Ihrer robots.txt-Änderungen, damit Sie bei Problemen zurückrollen können.

Robots.txt für mehrere Umgebungen

Stellen Sie sicher, dass Ihre Staging- und Entwicklungsumgebungen alle Crawler sperren:

User-agent: *
Disallow: /

Entfernen Sie diesen Block, bevor Sie eine Umgebung in die Produktion überführen. Versehentlich mit einem vollständigen Disallow zu launchen, gehört zu den häufigsten SEO-Fehlern beim Deployment.

Schluss mit Copy-and-paste. Starten Sie die Automatisierung.

Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.