Leitfaden zu Best Practices für die robots.txt mit Auditite
Meistern Sie die robots.txt-Konfiguration, um den Crawl-Zugriff zu steuern, sensible Seiten zu schützen und das Crawl-Budget optimal zu verteilen.
Überblick
Die robots.txt-Datei steuert, auf welche Bereiche Ihrer Website Suchmaschinen-Crawler zugreifen dürfen. Eine falsch konfigurierte robots.txt kann wichtige Seiten von der Indexierung ausschließen oder Crawl-Budget auf wenig wertvolle URLs verschwenden. Dieser Leitfaden behandelt Best Practices für alle gängigen Szenarien.
Schritt 1: Ihre aktuelle robots.txt prüfen
- Rufen Sie Ihre robots.txt unter
yourdomain.com/robots.txtauf. - Testen Sie sie mit dem robots.txt-Tester der Google Search Console.
- Prüfen Sie, dass keine wichtigen Seiten oder Ressourcen versehentlich blockiert sind.
- Prüfen Sie, dass für das Rendering benötigte CSS- und JavaScript-Dateien nicht blockiert sind.
Schritt 2: Die Syntax verstehen
Grundlegende Direktiven
| Direktive | Zweck |
|---|---|
| User-agent | Legt fest, für welchen Crawler die Regeln gelten |
| Disallow | Sperrt den angegebenen Pfad für das Crawling |
| Allow | Hebt ein Disallow für einen spezifischeren Pfad auf |
| Sitemap | Verweist auf den Speicherort Ihrer XML-Sitemap |
| Crawl-delay | Fordert eine Verzögerung zwischen Anfragen an (wird von Google nicht beachtet) |
Vorrangregeln
- Spezifischere Pfade überschreiben weniger spezifische Pfade.
- Allow hat Vorrang vor Disallow, wenn die Pfadlängen gleich sind.
- Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden.
- Platzhalter (*) stehen für beliebige Zeichenfolgen.
- Das Zeichen $ markiert das Ende einer URL.
Schritt 3: Häufige Konfigurationsmuster
Admin- und interne Seiten blockieren
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/
Suchergebnisse und Filter blockieren
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=
Bestimmte Ressourcen in gesperrten Verzeichnissen erlauben
Disallow: /private/
Allow: /private/public-page/
Bestimmte Dateitypen blockieren
Disallow: /*.pdf$
Disallow: /*.doc$
Schritt 4: Crawl-Budget optimieren
- Blockieren Sie URL-Parameter, die Duplicate Content erzeugen (Sortierung, Session-IDs, Tracking-Parameter).
- Seiten mit internen Suchergebnissen blockieren – sie haben selten SEO-Wert und können endlos viele URLs erzeugen.
- Blockieren Sie paginierte Filterkombinationen, die Sie per Canonical-Tags behandeln.
- Blockieren Sie keine Seiten, die Sie auf noindex setzen möchten – verwenden Sie stattdessen Meta Robots. Eine Sperre per robots.txt verhindert, dass Google die noindex-Anweisung sieht.
Schritt 5: Häufige Fehler vermeiden
CSS und JavaScript blockieren
Google muss Ihre Seiten rendern, um sie zu bewerten. Das Blockieren von CSS- oder JS-Dateien in der robots.txt verhindert das Rendering und kann Rankings schaden.
Die robots.txt zum Deindexieren verwenden
Die robots.txt verhindert das Crawling, nicht die Indexierung. Wenn externe Links auf eine Seite verweisen, kann Google sie trotzdem indexieren, ohne sie zu crawlen. Verwenden Sie zum Deindexieren noindex-Meta-Tags.
Zu weit gefasste Disallow-Regeln
Ein Disallow: / blockiert Ihre gesamte Website. Ein Disallow: /blog blockiert sowohl /blog/ als auch /blogging-tips/. Verwenden Sie bei Verzeichnissen immer abschließende Schrägstriche.
Die Sitemap-Direktive vergessen
Geben Sie den Speicherort Ihrer Sitemap immer am Ende der robots.txt an:
Sitemap: https://yourdomain.com/sitemap.xml
Schritt 6: Testen und Monitoring
- Testen Sie nach jeder Änderung der robots.txt die aktualisierte Datei in der Google Search Console.
- Prüfen Sie mit dem URL-Prüftool, dass Ihre wichtigsten Seiten nicht blockiert sind.
- Beobachten Sie die Crawling-Statistiken der Google Search Console auf Veränderungen der Crawl-Rate nach Änderungen an der robots.txt.
- Nutzen Sie Auditite, um Ihre robots.txt-Konfiguration zusammen mit Ihrem vollständigen Website-Crawl zu auditieren.
- Führen Sie einen Versionsverlauf Ihrer robots.txt-Änderungen, damit Sie bei Problemen zurückrollen können.
Robots.txt für mehrere Umgebungen
Stellen Sie sicher, dass Ihre Staging- und Entwicklungsumgebungen alle Crawler sperren:
User-agent: *
Disallow: /
Entfernen Sie diesen Block, bevor Sie eine Umgebung in die Produktion überführen. Versehentlich mit einem vollständigen Disallow zu launchen, gehört zu den häufigsten SEO-Fehlern beim Deployment.
Verwandte Playbooks
Playbook zur Umsetzung von Schema-Markup für SEO
Schritt-für-Schritt-Playbook zur Implementierung strukturierter Daten auf Ihrer Website, um Rich Results zu gewinnen und die Sichtbarkeit in der Suche zu verbessern.
ChecklisteSEO-Checkliste für Website-Migrationen mit Auditite
Vollständige Checkliste, um SEO-Equity bei Domainumzügen, CMS-Migrationen, Redesigns und HTTPS-Umstellungen zu bewahren.
PlaybookPlaybook zum Testen strukturierter Daten mit Auditite
Ein systematischer Ansatz zum Testen, Validieren und Beheben von Problemen mit strukturierten Daten auf Ihrer gesamten Website.
Schluss mit Copy-and-paste. Starten Sie die Automatisierung.
Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.