Auditite
Alle Templates
Rechner SEO-Manager

Crawl-Budget-Rechner: automatisierter SEO-Workflow

Berechnen und optimieren Sie die Crawl-Budget-Verteilung Ihrer Website. Enthält Formeln für Crawl-Rate, Erkennung von Verschwendung und Abdeckung priorisierter Seiten.

Überblick

Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Bei großen Websites (über 10.000 Seiten) bedeutet ineffiziente Nutzung des Crawl-Budgets, dass wichtige Seiten seltener gecrawlt werden, was die Indexierung neuer Inhalte und Aktualisierungen verzögert. Dieser Rechner hilft Ihnen, Ihr Crawl-Budget zu messen, zu analysieren und zu optimieren.

Schätzung des Crawl-Budgets

Entnehmen Sie diese Werte Ihren Server-Logs oder der Google Search Console.

MetrikWertQuelle
Googlebot-Anfragen gesamt/Tag (Durchschnitt)Server-Logs
Indexierbare Seiten gesamtSite-Crawl
URLs auf der Website insgesamt (einschließlich nicht indexierbarer)Server-Logs
Durchschnittliche Seitengröße (KB)Site-Crawl
Server-Antwortzeit (Ø ms)Server-Logs

Berechnung der Crawl-Rate

Crawl Efficiency = Indexable pages crawled / Total pages crawled × 100

Crawl Freshness = Googlebot requests per day / Total indexable pages
  → If > 1: Pages crawled more than once daily (good)
  → If < 1: Average days between crawls = 1 / Crawl Freshness

Full Crawl Cycle = Total indexable pages / Googlebot requests per day
  → Number of days for Google to crawl every indexable page once

Beispiel:

  • Googlebot-Anfragen/Tag: 5.000
  • Indexierbare Seiten: 25.000
  • Vollständiger Crawl-Zyklus: 25.000 / 5.000 = 5 Tage

Erkennung von Crawl-Verschwendung

Finden Sie URLs, die Crawl-Budget verbrauchen, ohne Mehrwert zu liefern.

VerschwendungskategorieURLs% des Crawl-BudgetsAktion
Soft-404-SeitenBeheben oder entfernen
Weiterleitungsketten (3+ Hops)Auf das Wesentliche kürzen
Duplicate Content (ohne Canonical)Canonical-Tags hinzufügen
Paginierte Archivenoindex ergänzen oder rel=next/prev verwenden
URLs der FacettennavigationPer robots.txt oder noindex sperren
Parameterbasierte DuplikateURL-Parameter in der GSC konfigurieren
Abgelaufene/nicht vorrätige Produkte410 zurückgeben oder weiterleiten
Verwaiste Seiten (keine internen Links)Links hinzufügen oder entfernen
Wenig wertvolle Tag-/ArchivseitenNoindex
Gesamtverschwendung%

Formel für die Auswirkung der Verschwendung

Wasted Crawls/Day = Total Googlebot requests × Waste Percentage
Recovered Crawls/Day = Wasted Crawls after fixes are implemented
New Full Crawl Cycle = Indexable pages / (Googlebot requests - Wasted Crawls + Recovered Crawls)

Abdeckung priorisierter Seiten

Stellen Sie sicher, dass Ihre wichtigsten Seiten häufig gecrawlt werden.

SeitengruppeAnzahlZiel-Crawl-HäufigkeitAktuelle HäufigkeitLücke
Startseite + Hauptnavigation5-20Täglich
Wichtige Produkt-/Leistungsseiten20-50Alle 2–3 Tage
Blogbeiträge mit hohem Traffic50-100Wöchentlich
Neue Inhalte (letzte 30 Tage)VariiertTäglich in der ersten Woche
Kategorie-/ArchivseitenVariiertWöchentlich
Alle übrigen InhalteVariiertMonatlich

Optimierungsmaßnahmen

AktionAuswirkung auf das Crawl-BudgetAufwandPriorität
Redirect-Ketten behebenHoch – spart mehrere Anfragen pro KetteNiedrig1
Dünne Seiten entfernen/auf noindex setzenHoch – schafft Budget für wertvolle SeitenMittel2
Soft 404 behebenMittel – stoppt verschwendete CrawlsNiedrig3
Server-Antwortzeit verbessernHoch – schnellere Antworten = mehr gecrawlte SeitenHoch4
XML-Sitemap optimierenMittel – lenkt Crawler auf PrioritätsseitenNiedrig5
Canonicals korrekt umsetzenMittel — verringert doppeltes CrawlingMittel6
Facettierte URLs in der robots.txt blockierenHoch für E-Commerce – kann Tausende überflüssiger URLs eliminierenNiedrig7
Interne Links auf Prioritätsseiten hinzufügenMittel – signalisiert Crawlern WichtigkeitMittel8

Checkliste für die Server-Log-Analyse

Um diesen Rechner effektiv zu nutzen, analysieren Sie Ihre Server-Logs auf:

  • Gesamtzahl der Googlebot-Anfragen pro Tag (nach User Agent filtern)
  • Am häufigsten gecrawlte URLs
  • Am seltensten gecrawlte URLs
  • An Googlebot zurückgegebene Antwortcodes (200, 301, 404, 500)
  • Durchschnittliche Antwortzeit für Googlebot-Anfragen
  • Gecrawlte Seiten, die auf noindex stehen oder anderswohin kanonisiert sind
  • Crawl-Muster nach Tageszeit

Monitoring

MetrikPrüfhäufigkeitTool
Crawl-Rate von GooglebotWöchentlichServer-Logs
Crawling-FehlerWöchentlichGoogle Search Console
IndexierungsrateMonatlichsite:-Operator, GSC
Crawl-Häufigkeit für priorisierte SeitenMonatlichServer-Logs
Anteil verschwendeter CrawlsVierteljährlichDieser Rechner + Auditite

Auditite erkennt Crawl-Budget-Verschwendung während technischer Audits automatisch und markiert Redirect-Ketten, Soft 404s und Duplicate Content, die Crawler-Ressourcen verbrauchen, ohne SEO-Wert zu liefern.

Sie möchten die Anleitung zu dieser Vorlage?

Schauen Sie sich unsere Playbooks mit Schritt-für-Schritt-Anleitungen für den Audit-Prozess an.

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.