Crawl-Budget-Rechner: automatisierter SEO-Workflow
Berechnen und optimieren Sie die Crawl-Budget-Verteilung Ihrer Website. Enthält Formeln für Crawl-Rate, Erkennung von Verschwendung und Abdeckung priorisierter Seiten.
Überblick
Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Bei großen Websites (über 10.000 Seiten) bedeutet ineffiziente Nutzung des Crawl-Budgets, dass wichtige Seiten seltener gecrawlt werden, was die Indexierung neuer Inhalte und Aktualisierungen verzögert. Dieser Rechner hilft Ihnen, Ihr Crawl-Budget zu messen, zu analysieren und zu optimieren.
Schätzung des Crawl-Budgets
Entnehmen Sie diese Werte Ihren Server-Logs oder der Google Search Console.
| Metrik | Wert | Quelle |
|---|---|---|
| Googlebot-Anfragen gesamt/Tag (Durchschnitt) | Server-Logs | |
| Indexierbare Seiten gesamt | Site-Crawl | |
| URLs auf der Website insgesamt (einschließlich nicht indexierbarer) | Server-Logs | |
| Durchschnittliche Seitengröße (KB) | Site-Crawl | |
| Server-Antwortzeit (Ø ms) | Server-Logs |
Berechnung der Crawl-Rate
Crawl Efficiency = Indexable pages crawled / Total pages crawled × 100
Crawl Freshness = Googlebot requests per day / Total indexable pages
→ If > 1: Pages crawled more than once daily (good)
→ If < 1: Average days between crawls = 1 / Crawl Freshness
Full Crawl Cycle = Total indexable pages / Googlebot requests per day
→ Number of days for Google to crawl every indexable page once
Beispiel:
- Googlebot-Anfragen/Tag: 5.000
- Indexierbare Seiten: 25.000
- Vollständiger Crawl-Zyklus: 25.000 / 5.000 = 5 Tage
Erkennung von Crawl-Verschwendung
Finden Sie URLs, die Crawl-Budget verbrauchen, ohne Mehrwert zu liefern.
| Verschwendungskategorie | URLs | % des Crawl-Budgets | Aktion |
|---|---|---|---|
| Soft-404-Seiten | Beheben oder entfernen | ||
| Weiterleitungsketten (3+ Hops) | Auf das Wesentliche kürzen | ||
| Duplicate Content (ohne Canonical) | Canonical-Tags hinzufügen | ||
| Paginierte Archive | noindex ergänzen oder rel=next/prev verwenden | ||
| URLs der Facettennavigation | Per robots.txt oder noindex sperren | ||
| Parameterbasierte Duplikate | URL-Parameter in der GSC konfigurieren | ||
| Abgelaufene/nicht vorrätige Produkte | 410 zurückgeben oder weiterleiten | ||
| Verwaiste Seiten (keine internen Links) | Links hinzufügen oder entfernen | ||
| Wenig wertvolle Tag-/Archivseiten | Noindex | ||
| Gesamtverschwendung | % |
Formel für die Auswirkung der Verschwendung
Wasted Crawls/Day = Total Googlebot requests × Waste Percentage
Recovered Crawls/Day = Wasted Crawls after fixes are implemented
New Full Crawl Cycle = Indexable pages / (Googlebot requests - Wasted Crawls + Recovered Crawls)
Abdeckung priorisierter Seiten
Stellen Sie sicher, dass Ihre wichtigsten Seiten häufig gecrawlt werden.
| Seitengruppe | Anzahl | Ziel-Crawl-Häufigkeit | Aktuelle Häufigkeit | Lücke |
|---|---|---|---|---|
| Startseite + Hauptnavigation | 5-20 | Täglich | ||
| Wichtige Produkt-/Leistungsseiten | 20-50 | Alle 2–3 Tage | ||
| Blogbeiträge mit hohem Traffic | 50-100 | Wöchentlich | ||
| Neue Inhalte (letzte 30 Tage) | Variiert | Täglich in der ersten Woche | ||
| Kategorie-/Archivseiten | Variiert | Wöchentlich | ||
| Alle übrigen Inhalte | Variiert | Monatlich |
Optimierungsmaßnahmen
| Aktion | Auswirkung auf das Crawl-Budget | Aufwand | Priorität |
|---|---|---|---|
| Redirect-Ketten beheben | Hoch – spart mehrere Anfragen pro Kette | Niedrig | 1 |
| Dünne Seiten entfernen/auf noindex setzen | Hoch – schafft Budget für wertvolle Seiten | Mittel | 2 |
| Soft 404 beheben | Mittel – stoppt verschwendete Crawls | Niedrig | 3 |
| Server-Antwortzeit verbessern | Hoch – schnellere Antworten = mehr gecrawlte Seiten | Hoch | 4 |
| XML-Sitemap optimieren | Mittel – lenkt Crawler auf Prioritätsseiten | Niedrig | 5 |
| Canonicals korrekt umsetzen | Mittel — verringert doppeltes Crawling | Mittel | 6 |
| Facettierte URLs in der robots.txt blockieren | Hoch für E-Commerce – kann Tausende überflüssiger URLs eliminieren | Niedrig | 7 |
| Interne Links auf Prioritätsseiten hinzufügen | Mittel – signalisiert Crawlern Wichtigkeit | Mittel | 8 |
Checkliste für die Server-Log-Analyse
Um diesen Rechner effektiv zu nutzen, analysieren Sie Ihre Server-Logs auf:
- Gesamtzahl der Googlebot-Anfragen pro Tag (nach User Agent filtern)
- Am häufigsten gecrawlte URLs
- Am seltensten gecrawlte URLs
- An Googlebot zurückgegebene Antwortcodes (200, 301, 404, 500)
- Durchschnittliche Antwortzeit für Googlebot-Anfragen
- Gecrawlte Seiten, die auf noindex stehen oder anderswohin kanonisiert sind
- Crawl-Muster nach Tageszeit
Monitoring
| Metrik | Prüfhäufigkeit | Tool |
|---|---|---|
| Crawl-Rate von Googlebot | Wöchentlich | Server-Logs |
| Crawling-Fehler | Wöchentlich | Google Search Console |
| Indexierungsrate | Monatlich | site:-Operator, GSC |
| Crawl-Häufigkeit für priorisierte Seiten | Monatlich | Server-Logs |
| Anteil verschwendeter Crawls | Vierteljährlich | Dieser Rechner + Auditite |
Auditite erkennt Crawl-Budget-Verschwendung während technischer Audits automatisch und markiert Redirect-Ketten, Soft 404s und Duplicate Content, die Crawler-Ressourcen verbrauchen, ohne SEO-Wert zu liefern.
Verwandte Vorlagen
Vorlage für Redirect-Mapping mit Auditite
Planen und verfolgen Sie URL-Weiterleitungen bei Website-Migrationen oder Umstrukturierungen. Enthält Auswahl des Weiterleitungstyps, Ketten-Erkennung und Validierungs-Arbeitsblätter.
VorlageVorlage zur robots.txt-Konfiguration mit Auditite
Konfigurieren Sie die robots.txt mit dieser Vorlage korrekt. Enthält Direktiven für die wichtigsten Crawler, gängige CMS-Muster und Testverfahren.
ChecklisteCheckliste zur Umsetzung von Schema-Markup für SEO
Setzen Sie strukturierte Daten mit dieser Schema-Markup-Checkliste korrekt um. Sie deckt alle wichtigen Schema-Typen, Validierungsschritte und häufige Umsetzungsfehler ab.
Sie möchten die Anleitung zu dieser Vorlage?
Schauen Sie sich unsere Playbooks mit Schritt-für-Schritt-Anleitungen für den Audit-Prozess an.