Auditite
Zurück zum Glossar
Technisches SEO

Robots.txt

Erfahren Sie, was eine robots.txt-Datei ist, wie sie das Crawling-Verhalten von Suchmaschinen steuert und wie Sie sie für bessere SEO-Ergebnisse richtig konfigurieren.

Die Robots.txt ist eine reine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche Ihrer Website sie crawlen sollen oder nicht. Sie folgt dem Robots Exclusion Protocol und ist die erste Datei, die Bots prüfen, bevor sie Ihre Website crawlen. Sie gibt zwar ein Crawling-Verhalten vor, garantiert aber nicht, dass blockierte Seiten aus den Suchergebnissen ausgeschlossen werden.

Warum das für SEO wichtig ist

Die robots.txt spielt eine entscheidende Rolle bei der Steuerung Ihres Crawl-Budgets. Indem Sie Bots von wertarmen Bereichen wie Admin-Panels, Staging-Umgebungen, Duplicate Content oder Seiten der Facettennavigation fernhalten, stellen Sie sicher, dass Crawler ihre begrenzte Zeit auf Seiten verwenden, die für Ihre Rankings wirklich zählen. Fehlerhaft konfigurierte robots.txt-Dateien gehören zu den häufigsten Ursachen für Indexierungsprobleme und können versehentlich ganze Bereiche einer Website für Suchmaschinen sperren.

So konfigurieren Sie die robots.txt

Legen Sie die Datei im Stammverzeichnis Ihrer Domain ab, sodass sie unter Ihrer Domain gefolgt von /robots.txt erreichbar ist. Verwenden Sie User-agent-Anweisungen, um bestimmte Bots anzusprechen, und Disallow-Regeln, um Pfade zu sperren. Die Allow-Anweisung kann umfassendere Disallow-Regeln für bestimmte Unterpfade überschreiben.

Verweisen Sie am Ende der Datei mit der Sitemap-Direktive auf Ihre XML-Sitemap. So finden Suchmaschinen Ihre Sitemap, ohne die Google Search Console besuchen zu müssen.

Für Seiten, die Sie vollständig aus den Suchergebnissen ausschließen möchten, verwenden Sie ein noindex-Meta-Tag statt der robots.txt. Das Blockieren per robots.txt verhindert, dass Crawler die noindex-Direktive sehen, wodurch die Seite weiterhin in den Suchergebnissen erscheinen kann.

Häufige Fehler

  • CSS- und JavaScript-Dateien blockieren: Moderne Suchmaschinen müssen Seiten rendern, um sie zu verstehen. Das Blockieren render-kritischer Ressourcen beeinträchtigt das JavaScript-Rendering und schadet Ihren Rankings.
  • Die robots.txt nutzen, um Seiten aus den Suchergebnissen zu verbergen: Blockierte Seiten können trotzdem indexiert werden, wenn andere Websites auf sie verlinken. Nutzen Sie zur Deindexierung Noindex.
  • Ein Disallow-all aus der Staging-Umgebung stehen lassen: Prüfen Sie nach dem Launch einer Website, dass die robots.txt nicht mehr das pauschale Disallow aus der Entwicklungsphase enthält.
  • Änderungen nicht testen: Nutzen Sie den robots.txt-Tester in der Google Search Console, bevor Sie Updates in die Produktion übernehmen.
  • Abschließende Schrägstriche vergessen: Disallow /admin sperrt /admin, /admin/ und /admin/page, während Disallow /admin/ nur Pfade unterhalb des Verzeichnisses sperrt.

Eine korrekt konfigurierte robots.txt ist ein Fundament des technischen SEO und bereitet den Boden für effizientes Crawling und Indexieren.

In Aktion ansehen

Erfahren Sie, wie Auditite robots.txt in die Praxis umsetzt.

Technisches SEO entdecken

So geht Auditite damit um

Legen Sie los und sehen Sie die Plattform in Aktion.

Loslegen

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.