Vorlage zur robots.txt-Konfiguration mit Auditite
Konfigurieren Sie die robots.txt mit dieser Vorlage korrekt. Enthält Direktiven für die wichtigsten Crawler, gängige CMS-Muster und Testverfahren.
Überblick
Die Datei robots.txt steuert, auf welche Bereiche Ihrer Website Suchmaschinen-Crawler zugreifen dürfen. Eine falsch konfigurierte robots.txt kann wichtige Inhalte von der Indexierung ausschließen oder Crawl-Budget auf wenig wertvolle Seiten verschwenden. Diese Vorlage enthält Standardkonfigurationen für gängige Website-Typen.
robots.txt-Syntax-Referenz
| Direktive | Zweck | Beispiel |
|---|---|---|
| User-agent | Legt fest, für welchen Crawler die Regeln gelten | User-agent: Googlebot |
| Disallow | Sperrt einen Pfad für das Crawling | Disallow: /admin/ |
| Allow | Erlaubt das Crawling ausdrücklich (überschreibt Disallow) | Allow: /admin/public/ |
| Sitemap | Verweist auf Ihre XML-Sitemap | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Verzögerung zwischen Crawls bei Anfragen (wird von Google nicht beachtet) | Crawl-delay: 10 |
Wichtige Regeln:
- Die robots.txt muss im Root-Verzeichnis liegen:
https://example.com/robots.txt - Bei Pfaden wird in Anweisungen zwischen Groß- und Kleinschreibung unterschieden
- Spezifischere Pfade haben Vorrang vor weniger spezifischen
- Ein leeres
Disallow:bedeutet „alles erlauben“ - Eine fehlende robots.txt bedeutet „alles erlauben“
Standardvorlage
# Robots.txt for example.com
# Updated: 2026-10-15
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
CMS-spezifische Templates
WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/
Sitemap: https://example.com/sitemap_index.xml
Shopify
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=
Sitemap: https://example.com/sitemap.xml
E-Commerce (allgemein)
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Was blockieren und was erlauben
| Content-Typ | Blockieren? | Grund |
|---|---|---|
| Admin-/Login-Seiten | Ja | Kein SEO-Wert, Sicherheitsrisiko |
| Suchergebnisseiten | Ja | Thin/Duplicate Content |
| Warenkorb/Checkout | Ja | Kein SEO-Wert, personenbezogene Daten |
| Nutzerkonto-Seiten | Ja | Personenbezogene Daten, kein SEO-Wert |
| URLs der Facettennavigation | Ja | Duplicate Content, Crawl-Verschwendung |
| Sortier-/Filterparameter | Ja | Duplicate Content |
| API-Endpunkte | Ja | Nicht für die Öffentlichkeit bestimmt |
| CSS-/JS-Dateien | Nein | Google braucht diese für das Rendering |
| Bilder | Nein | Bilder müssen indexiert werden |
| PDF/Dokumente | Nein | Oft wertvoller Inhalt |
| Blog-Inhalte | Nein | Zentraler SEO-Content |
| Produktseiten | Nein | Zentraler SEO-Content |
Konfiguration für KI-Crawler
| Crawler | User-agent | Zweck | Empfehlung |
|---|---|---|---|
| GPTBot | GPTBot | OpenAI-Trainingsdaten | Bei Bedarf blockieren |
| Google-Extended | Google-Extended | Trainingsdaten von Gemini | Bei Bedarf blockieren |
| CCBot | CCBot | Common Crawl | Bei Bedarf blockieren |
| Anthropic | anthropic-ai | Claude-Trainingsdaten | Bei Bedarf blockieren |
| Bytespider | Bytespider | TikTok/ByteDance | Bei Bedarf blockieren |
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Test-Checkliste
- Datei ist unter
/robots.txterreichbar (liefert Status 200) - Die Syntax ist gültig (keine Tippfehler in Direktiven)
- Wichtiger Content wird NICHT blockiert
- Wenig wertvolle Seiten werden blockiert
- Sitemap-URL ist enthalten und gültig
- Mit dem robots.txt-Tester von Google getestet (Search Console)
- Kein versehentliches
Disallow: /, das die gesamte Website blockiert - CSS- und JS-Dateien sind nicht blockiert (für das Rendering erforderlich)
- Bilderverzeichnis ist nicht blockiert
Audit-Arbeitsblatt
| URL-Muster | Aktuell blockiert? | Sollte gesperrt werden? | Handlungsbedarf |
|---|---|---|---|
| / (gesamte Website) | Nein | ||
| /admin/ | Ja | ||
| /blog/ | Nein | ||
| /search? | Ja |
Häufige Fehler
| Fehler | Auswirkung | Fix |
|---|---|---|
Gesamte Website blockieren (Disallow: /) | Nichts wird indexiert | Pfade entfernen oder angeben |
| Blockierung von CSS/JS | Rendering-Probleme, schlechte Bewertung | CSS-/JS-Verzeichnisse erlauben |
| Bilder blockieren | Kein Traffic aus der Bildersuche | Bildverzeichnisse erlauben |
| Keine Sitemap angegeben | Langsamere Entdeckung neuer Seiten | Sitemap-Direktive hinzufügen |
| robots.txt für noindex verwenden | Entfernt nicht aus dem Index | Verwenden Sie stattdessen Meta-Noindex |
| Leerzeichen vor dem Doppelpunkt | Direktive wird möglicherweise nicht ausgewertet | Leerzeichen entfernen |
Auditite validiert Ihre robots.txt-Konfiguration bei jedem Audit und markiert blockierte wichtige Inhalte, fehlende Sitemaps und Syntaxfehler.
Verwandte Vorlagen
Checkliste zur Umsetzung von Schema-Markup für SEO
Setzen Sie strukturierte Daten mit dieser Schema-Markup-Checkliste korrekt um. Sie deckt alle wichtigen Schema-Typen, Validierungsschritte und häufige Umsetzungsfehler ab.
ChecklisteSEO-Audit-Checkliste für Website-Sicherheit
Prüfen Sie die Sicherheit Ihrer Website auf SEO-Auswirkungen. Umfasst HTTPS, Mixed Content, Header, Malware-Signale und den Google-Safe-Browsing-Status.
ScorecardSEO-Audit-Scorecard: Automatisierter SEO-Workflow
Bewerten Sie die SEO-Gesundheit Ihrer Website über technische, On-Page- und Off-Page-Faktoren. Gewichtetes Bewertungsraster mit umsetzbaren Prioritätsempfehlungen.
Sie möchten die Anleitung zu dieser Vorlage?
Schauen Sie sich unsere Playbooks mit Schritt-für-Schritt-Anleitungen für den Audit-Prozess an.