Auditite
Alle Templates
Vorlage SEO-Manager

Vorlage zur robots.txt-Konfiguration mit Auditite

Konfigurieren Sie die robots.txt mit dieser Vorlage korrekt. Enthält Direktiven für die wichtigsten Crawler, gängige CMS-Muster und Testverfahren.

Überblick

Die Datei robots.txt steuert, auf welche Bereiche Ihrer Website Suchmaschinen-Crawler zugreifen dürfen. Eine falsch konfigurierte robots.txt kann wichtige Inhalte von der Indexierung ausschließen oder Crawl-Budget auf wenig wertvolle Seiten verschwenden. Diese Vorlage enthält Standardkonfigurationen für gängige Website-Typen.

robots.txt-Syntax-Referenz

DirektiveZweckBeispiel
User-agentLegt fest, für welchen Crawler die Regeln geltenUser-agent: Googlebot
DisallowSperrt einen Pfad für das CrawlingDisallow: /admin/
AllowErlaubt das Crawling ausdrücklich (überschreibt Disallow)Allow: /admin/public/
SitemapVerweist auf Ihre XML-SitemapSitemap: https://example.com/sitemap.xml
Crawl-delayVerzögerung zwischen Crawls bei Anfragen (wird von Google nicht beachtet)Crawl-delay: 10

Wichtige Regeln:

  • Die robots.txt muss im Root-Verzeichnis liegen: https://example.com/robots.txt
  • Bei Pfaden wird in Anweisungen zwischen Groß- und Kleinschreibung unterschieden
  • Spezifischere Pfade haben Vorrang vor weniger spezifischen
  • Ein leeres Disallow: bedeutet „alles erlauben“
  • Eine fehlende robots.txt bedeutet „alles erlauben“

Standardvorlage

# Robots.txt for example.com
# Updated: 2026-10-15

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

CMS-spezifische Templates

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/

Sitemap: https://example.com/sitemap_index.xml

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=

Sitemap: https://example.com/sitemap.xml

E-Commerce (allgemein)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Was blockieren und was erlauben

Content-TypBlockieren?Grund
Admin-/Login-SeitenJaKein SEO-Wert, Sicherheitsrisiko
SuchergebnisseitenJaThin/Duplicate Content
Warenkorb/CheckoutJaKein SEO-Wert, personenbezogene Daten
Nutzerkonto-SeitenJaPersonenbezogene Daten, kein SEO-Wert
URLs der FacettennavigationJaDuplicate Content, Crawl-Verschwendung
Sortier-/FilterparameterJaDuplicate Content
API-EndpunkteJaNicht für die Öffentlichkeit bestimmt
CSS-/JS-DateienNeinGoogle braucht diese für das Rendering
BilderNeinBilder müssen indexiert werden
PDF/DokumenteNeinOft wertvoller Inhalt
Blog-InhalteNeinZentraler SEO-Content
ProduktseitenNeinZentraler SEO-Content

Konfiguration für KI-Crawler

CrawlerUser-agentZweckEmpfehlung
GPTBotGPTBotOpenAI-TrainingsdatenBei Bedarf blockieren
Google-ExtendedGoogle-ExtendedTrainingsdaten von GeminiBei Bedarf blockieren
CCBotCCBotCommon CrawlBei Bedarf blockieren
Anthropicanthropic-aiClaude-TrainingsdatenBei Bedarf blockieren
BytespiderBytespiderTikTok/ByteDanceBei Bedarf blockieren
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Test-Checkliste

  • Datei ist unter /robots.txt erreichbar (liefert Status 200)
  • Die Syntax ist gültig (keine Tippfehler in Direktiven)
  • Wichtiger Content wird NICHT blockiert
  • Wenig wertvolle Seiten werden blockiert
  • Sitemap-URL ist enthalten und gültig
  • Mit dem robots.txt-Tester von Google getestet (Search Console)
  • Kein versehentliches Disallow: /, das die gesamte Website blockiert
  • CSS- und JS-Dateien sind nicht blockiert (für das Rendering erforderlich)
  • Bilderverzeichnis ist nicht blockiert

Audit-Arbeitsblatt

URL-MusterAktuell blockiert?Sollte gesperrt werden?Handlungsbedarf
/ (gesamte Website)Nein
/admin/Ja
/blog/Nein
/search?Ja

Häufige Fehler

FehlerAuswirkungFix
Gesamte Website blockieren (Disallow: /)Nichts wird indexiertPfade entfernen oder angeben
Blockierung von CSS/JSRendering-Probleme, schlechte BewertungCSS-/JS-Verzeichnisse erlauben
Bilder blockierenKein Traffic aus der BildersucheBildverzeichnisse erlauben
Keine Sitemap angegebenLangsamere Entdeckung neuer SeitenSitemap-Direktive hinzufügen
robots.txt für noindex verwendenEntfernt nicht aus dem IndexVerwenden Sie stattdessen Meta-Noindex
Leerzeichen vor dem DoppelpunktDirektive wird möglicherweise nicht ausgewertetLeerzeichen entfernen

Auditite validiert Ihre robots.txt-Konfiguration bei jedem Audit und markiert blockierte wichtige Inhalte, fehlende Sitemaps und Syntaxfehler.

Sie möchten die Anleitung zu dieser Vorlage?

Schauen Sie sich unsere Playbooks mit Schritt-für-Schritt-Anleitungen für den Audit-Prozess an.

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.