Robots.txt
Erfahren Sie, was eine robots.txt-Datei ist, wie sie das Crawling-Verhalten von Suchmaschinen steuert und wie Sie sie für bessere SEO-Ergebnisse richtig konfigurieren.
Die Robots.txt ist eine reine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche Ihrer Website sie crawlen sollen oder nicht. Sie folgt dem Robots Exclusion Protocol und ist die erste Datei, die Bots prüfen, bevor sie Ihre Website crawlen. Sie gibt zwar ein Crawling-Verhalten vor, garantiert aber nicht, dass blockierte Seiten aus den Suchergebnissen ausgeschlossen werden.
Warum das für SEO wichtig ist
Die robots.txt spielt eine entscheidende Rolle bei der Steuerung Ihres Crawl-Budgets. Indem Sie Bots von wertarmen Bereichen wie Admin-Panels, Staging-Umgebungen, Duplicate Content oder Seiten der Facettennavigation fernhalten, stellen Sie sicher, dass Crawler ihre begrenzte Zeit auf Seiten verwenden, die für Ihre Rankings wirklich zählen. Fehlerhaft konfigurierte robots.txt-Dateien gehören zu den häufigsten Ursachen für Indexierungsprobleme und können versehentlich ganze Bereiche einer Website für Suchmaschinen sperren.
So konfigurieren Sie die robots.txt
Legen Sie die Datei im Stammverzeichnis Ihrer Domain ab, sodass sie unter Ihrer Domain gefolgt von /robots.txt erreichbar ist. Verwenden Sie User-agent-Anweisungen, um bestimmte Bots anzusprechen, und Disallow-Regeln, um Pfade zu sperren. Die Allow-Anweisung kann umfassendere Disallow-Regeln für bestimmte Unterpfade überschreiben.
Verweisen Sie am Ende der Datei mit der Sitemap-Direktive auf Ihre XML-Sitemap. So finden Suchmaschinen Ihre Sitemap, ohne die Google Search Console besuchen zu müssen.
Für Seiten, die Sie vollständig aus den Suchergebnissen ausschließen möchten, verwenden Sie ein noindex-Meta-Tag statt der robots.txt. Das Blockieren per robots.txt verhindert, dass Crawler die noindex-Direktive sehen, wodurch die Seite weiterhin in den Suchergebnissen erscheinen kann.
Häufige Fehler
- CSS- und JavaScript-Dateien blockieren: Moderne Suchmaschinen müssen Seiten rendern, um sie zu verstehen. Das Blockieren render-kritischer Ressourcen beeinträchtigt das JavaScript-Rendering und schadet Ihren Rankings.
- Die robots.txt nutzen, um Seiten aus den Suchergebnissen zu verbergen: Blockierte Seiten können trotzdem indexiert werden, wenn andere Websites auf sie verlinken. Nutzen Sie zur Deindexierung Noindex.
- Ein Disallow-all aus der Staging-Umgebung stehen lassen: Prüfen Sie nach dem Launch einer Website, dass die robots.txt nicht mehr das pauschale Disallow aus der Entwicklungsphase enthält.
- Änderungen nicht testen: Nutzen Sie den robots.txt-Tester in der Google Search Console, bevor Sie Updates in die Produktion übernehmen.
- Abschließende Schrägstriche vergessen: Disallow /admin sperrt /admin, /admin/ und /admin/page, während Disallow /admin/ nur Pfade unterhalb des Verzeichnisses sperrt.
Eine korrekt konfigurierte robots.txt ist ein Fundament des technischen SEO und bereitet den Boden für effizientes Crawling und Indexieren.
In Aktion ansehen
Erfahren Sie, wie Auditite robots.txt in die Praxis umsetzt.
Technisches SEO entdeckenVerwandte Artikel
So finden Sie die Sitemap einer Website (7 Wege)
So finden Sie die Sitemap einer Website: robots.txt, gängige Sitemap-URLs, CMS-Standards und die Search Console prüfen und die Sitemap-XML in Minuten auf Fehler testen.
WordPress-robots.txt: Was hineingehört und warum
Wie die WordPress-robots.txt funktioniert: die virtuelle Standarddatei, Bearbeitung in Yoast, Rank Math oder per FTP, eine empfohlene Datei und die Regeln, die dem SEO unbemerkt schaden.
Best-Practices-Leitfaden zur robots.txt für SEO-Teams
Lernen Sie Best Practices für die robots.txt, um den Crawler-Zugriff zu steuern, sensible Seiten zu schützen und Ihr Crawl-Budget effektiv zu optimieren.