Crawl-Budget
Erfahren Sie, was Crawl-Budget ist, wie Suchmaschinen Crawling-Ressourcen verteilen und wie Sie Ihre Website optimieren, damit wichtige Seiten indexiert werden.
Das Crawl-Budget bezeichnet die Anzahl der Seiten, die ein Suchmaschinen-Bot in einem bestimmten Zeitraum auf Ihrer Website crawlt. Es wird von zwei Faktoren bestimmt: dem Crawl-Rate-Limit (wie schnell ein Bot crawlen kann, ohne Ihren Server zu überlasten) und der Crawl-Nachfrage (wie stark Google Ihre Website aufgrund von Beliebtheit und Aktualität crawlen möchte). Jede Website erhält ein begrenztes Kontingent an Crawling-Ressourcen, und wie Sie dieses Kontingent verwalten, bestimmt direkt, welche Seiten entdeckt und indexiert werden.
Warum das für SEO wichtig ist
Das Crawl-Budget wird bei großen Websites mit Tausenden oder Millionen Seiten kritisch. Wenn Suchmaschinen-Bots ihre Zeit auf wenig wertvollen Seiten verbringen – etwa Duplicate Content, parameterlastigen URLs oder veralteten Archiven –, werden Ihre wichtigsten Seiten womöglich gar nicht gecrawlt oder indexiert. Bei kleineren Websites (unter einigen Tausend Seiten) spielt das Crawl-Budget selten eine Rolle, da Bots in der Regel jede Seite erfassen können. Bei E-Commerce-Shops, News-Publishern und Enterprise-Plattformen führt ein schlecht verwaltetes Crawl-Budget jedoch direkt zu Indexierungslücken und verlorenem organischem Traffic.
So optimieren Sie das Crawl-Budget
Beginnen Sie damit, Crawl-Verschwendung zu erkennen und zu beseitigen. Nutzen Sie Ihre Server-Logs oder die Google Search Console, um zu sehen, welche URLs Googlebot am häufigsten besucht. Blockieren Sie unwichtige Seiten mit robots.txt-Direktiven oder setzen Sie noindex-Tags auf Seiten, die nicht in den Suchergebnissen erscheinen sollen. Stellen Sie sicher, dass Ihre XML-Sitemap nur kanonische, indexierbare URLs enthält, damit Suchmaschinen die richtigen Seiten priorisieren.
Verbessern Sie Ihre Website-Architektur, damit wichtige Seiten höchstens drei Klicks von der Startseite entfernt sind. Setzen Sie interne Verlinkung strategisch ein, um zu signalisieren, welche Seiten am wichtigsten sind. Beheben oder entfernen Sie defekte Links und Weiterleitungsketten, die Crawl-Ressourcen verschwenden. Halten Sie außerdem Ihre Serverantwortzeiten niedrig – ein langsamer Server senkt Ihr Crawl-Rate-Limit, weil Bots sich zurückziehen, um Ihre Infrastruktur nicht zu überlasten.
Häufige Fehler
- noindex-Seiten in die Sitemap aufnehmen: Das sendet Crawlern widersprüchliche Signale und verschwendet Budget für Seiten, die Sie nicht indexiert haben möchten.
- Facettennavigation ignorieren: Die Facettennavigation kann Tausende parameterbasierter URLs erzeugen, die das Crawl-Budget erheblich verwässern.
- Redirect-Ketten bestehen lassen: Jeder Hop in einer 301-Weiterleitungs-Kette verbraucht Crawl-Ressourcen. Fassen Sie Ketten zu einzelnen Weiterleitungen zusammen.
- Crawling-Statistiken nicht überwachen: Prüfen Sie regelmäßig den Bericht „Crawling-Statistiken“ in der Google Search Console, um Auffälligkeiten zu erkennen, etwa plötzliche Anstiege bei gecrawlten, aber nicht indexierten Seiten.
- Annehmen, dass Crawl-Budget keine Rolle spielt: Auch mittelgroße Websites können mit der Zeit Index Bloat entwickeln, wenn sich minderwertige Seiten unbemerkt ansammeln.
Ein effektives Crawl-Budget-Management sorgt dafür, dass Suchmaschinen ihre begrenzten Ressourcen auf die Seiten konzentrieren, die Ihre organische Sichtbarkeit und Ihren Umsatz bringen.
In Aktion ansehen
Erfahren Sie, wie Auditite das Crawl-Budget in der Praxis umsetzt.
Technisches SEO entdeckenVerwandte Artikel
Gefunden – zurzeit nicht indexiert: So beheben Sie es
Was „Gefunden – zurzeit nicht indexiert“ in der Search Console bedeutet, wie es sich von „Gecrawlt – zurzeit nicht indexiert“ unterscheidet und wie Sie es beheben.
Logfile-Analyse für SEO: Crawl-Einblicke
Nutzen Sie die Analyse von Server-Logdateien, um herauszufinden, wie Googlebot Ihre Website crawlt, verschwendetes Crawl-Budget zu erkennen und die Indexierung zu verbessern.
Facettennavigation und SEO: Best Practices
Lösen Sie SEO-Probleme der Facettennavigation. Erfahren Sie, wann Filter indexiert werden sollten, wie Sie URL-Parameter behandeln und Crawl-Budget-Verschwendung auf großen Websites verhindern.