Auditite
Alle Playbooks
Playbook Technical-SEO-Spezialist

Playbook zur Crawl-Budget-Optimierung mit Auditite

Maximieren Sie die Crawl-Effizienz von Suchmaschinen, indem Sie das Crawl-Budget auf Ihre wertvollsten Seiten lenken und Verschwendung reduzieren.

Überblick

Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlt. Bei großen Websites (über 10.000 Seiten) bestimmt das Crawl-Budget direkt, wie schnell neue und aktualisierte Inhalte indexiert werden. Dieses Playbook zeigt, wie Sie die Crawl-Effizienz maximieren.

Schritt 1: Ihr Crawl-Budget verstehen

  1. Prüfen Sie im Crawl-Statistiken-Bericht der Google Search Console Ihre durchschnittliche tägliche Crawl-Rate.
  2. Prüfen Sie die Verteilung der Crawl-Anfragen nach Antworttyp (200, 301, 404 usw.).
  3. Analysieren Sie die Crawl-Häufigkeit nach URL-Gruppen (für die genauesten Daten nutzen Sie Server-Logs).
  4. Vergleichen Sie Ihre gesamten crawlbaren URLs mit Ihrer täglichen Crawl-Rate, um die Dauer eines vollständigen Website-Crawls abzuschätzen.

Faktoren des Crawl-Budgets

FaktorAuswirkung
Server-AntwortgeschwindigkeitSchnellere Antworten = mehr gecrawlte Seiten pro Sitzung
Beliebtheit der WebsiteBeliebtere Websites erhalten größere Crawl-Budgets
Aktualität der InhalteHäufig aktualisierte Websites werden öfter gecrawlt
URL-ErkennungSitemaps und interne Links erleichtern die Entdeckung
Crawling-FehlerHohe Fehlerraten verringern die zugewiesene Crawl-Budget-Menge

Schritt 2: Crawl-Budget-Verschwendung identifizieren

Häufige Quellen der Verschwendung

  1. URLs der Facettennavigation. Filter und Sortierungen erzeugen Tausende nahezu doppelter URLs.
  2. Seiten der internen Suche. Jede Suchanfrage erzeugt eine eigene URL mit dünnem Content.
  3. Paginierte Filterkombinationen. Seite 47 einer gefilterten Produktliste hat kaum Wert.
  4. Soft-404-Seiten. Seiten, die 200 zurückgeben, aber keinen echten Inhalt haben.
  5. Kalender- und datumsbasierte URLs. Archivseiten, die unendlich viele URL-Kombinationen erzeugen.
  6. Session-ID- und Tracking-Parameter. URLs mit eindeutigen Session-Kennungen.
  7. Pfade mit Duplicate Content. Mehrere URL-Pfade zum selben Inhalt.

Schritt 3: Wenig wertvolle URLs sperren

  1. Sperren Sie per robots.txt Muster, die keinen SEO-Wert erzeugen (Suchergebnisse, Session-Parameter).
  2. Verwenden Sie nofollow bei internen Links auf wenig wertvolle Seiten der Facettennavigation.
  3. Implementieren Sie eine URL-Parameter-Behandlung, die unnötige Parameter serverseitig entfernt.
  4. Doppelte Pfade mit Canonical-Tags und 301-Weiterleitungen zusammenführen.

Schritt 4: Wertvolle URLs priorisieren

  1. Stellen Sie sicher, dass Ihre wichtigsten Seiten von der Startseite oder der Hauptnavigation aus verlinkt sind (geringe Crawl-Tiefe).
  2. Reichen Sie eine XML-Sitemap ein, die nur Ihre wichtigsten Seiten enthält.
  3. Nutzen Sie die interne Verlinkung, um klare Pfade zu Seiten zu schaffen, die häufig gecrawlt werden sollen.
  4. Aktualisieren Sie Inhalte auf Prioritätsseiten regelmäßig – Signale für frischen Content fördern häufigeres Crawling.

Schritt 5: Server-Performance verbessern

  1. Optimieren Sie die Server-Antwortzeit auf unter 500 ms für alle Seiten.
  2. Nutzen Sie ein CDN, um die Latenz für weltweit verteilte Crawler zu verringern.
  3. Stellen Sie sicher, dass Ihr Server gleichzeitige Crawl-Anfragen ohne Drosselung bewältigen kann.
  4. Überwachen Sie Serverfehler – 500er-Fehler beim Crawling senken die Crawl-Rate von Googlebot.

Schritt 6: URL-Raum bereinigen

  1. Leiten Sie Seiten ohne Zweck weiter oder entfernen Sie sie (veraltete Aktionen, abgelaufene Events, Thin Content).
  2. Führen Sie Beinahe-Duplikate mit Canonical-Tags oder 301-Weiterleitungen zusammen.
  3. Entfernen Sie minderwertige Seiten aus Ihrer XML-Sitemap.
  4. Beheben Sie alle in der Google Search Console gemeldeten Crawling-Fehler.

Schritt 7: Crawl-Effizienz überwachen

Verfolgen Sie diese Kennzahlen monatlich:

  • Pro Tag gecrawlte Seiten insgesamt
  • Anteil gecrawlter Seiten mit hohem Wert (erzeugen Traffic oder Umsatz)
  • Zeit von der Veröffentlichung eines Inhalts bis zum ersten Googlebot-Crawl
  • Zeit vom ersten Crawl bis zur Indexierung
  • Verhältnis von Sitemap-URLs zu indexierten URLs
  • Server-Antwortzeit während Spitzenzeiten beim Crawling
  1. Nutzen Sie die Analyse von Server-Logs, um zu validieren, dass Googlebot seine Zeit auf Ihren priorisierten Seiten verbringt.
  2. Richten Sie Auditites Crawl-Monitoring ein, um Veränderungen der Crawl-Muster zu erkennen.
  3. Beobachten Sie nach Änderungen die Crawl-Statistiken zwei bis vier Wochen lang, um die Wirkung zu messen.

Schluss mit Copy-and-paste. Starten Sie die Automatisierung.

Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.