Playbook zur Crawl-Budget-Optimierung mit Auditite
Maximieren Sie die Crawl-Effizienz von Suchmaschinen, indem Sie das Crawl-Budget auf Ihre wertvollsten Seiten lenken und Verschwendung reduzieren.
Überblick
Das Crawl-Budget ist die Anzahl der Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlt. Bei großen Websites (über 10.000 Seiten) bestimmt das Crawl-Budget direkt, wie schnell neue und aktualisierte Inhalte indexiert werden. Dieses Playbook zeigt, wie Sie die Crawl-Effizienz maximieren.
Schritt 1: Ihr Crawl-Budget verstehen
- Prüfen Sie im Crawl-Statistiken-Bericht der Google Search Console Ihre durchschnittliche tägliche Crawl-Rate.
- Prüfen Sie die Verteilung der Crawl-Anfragen nach Antworttyp (200, 301, 404 usw.).
- Analysieren Sie die Crawl-Häufigkeit nach URL-Gruppen (für die genauesten Daten nutzen Sie Server-Logs).
- Vergleichen Sie Ihre gesamten crawlbaren URLs mit Ihrer täglichen Crawl-Rate, um die Dauer eines vollständigen Website-Crawls abzuschätzen.
Faktoren des Crawl-Budgets
| Faktor | Auswirkung |
|---|---|
| Server-Antwortgeschwindigkeit | Schnellere Antworten = mehr gecrawlte Seiten pro Sitzung |
| Beliebtheit der Website | Beliebtere Websites erhalten größere Crawl-Budgets |
| Aktualität der Inhalte | Häufig aktualisierte Websites werden öfter gecrawlt |
| URL-Erkennung | Sitemaps und interne Links erleichtern die Entdeckung |
| Crawling-Fehler | Hohe Fehlerraten verringern die zugewiesene Crawl-Budget-Menge |
Schritt 2: Crawl-Budget-Verschwendung identifizieren
Häufige Quellen der Verschwendung
- URLs der Facettennavigation. Filter und Sortierungen erzeugen Tausende nahezu doppelter URLs.
- Seiten der internen Suche. Jede Suchanfrage erzeugt eine eigene URL mit dünnem Content.
- Paginierte Filterkombinationen. Seite 47 einer gefilterten Produktliste hat kaum Wert.
- Soft-404-Seiten. Seiten, die 200 zurückgeben, aber keinen echten Inhalt haben.
- Kalender- und datumsbasierte URLs. Archivseiten, die unendlich viele URL-Kombinationen erzeugen.
- Session-ID- und Tracking-Parameter. URLs mit eindeutigen Session-Kennungen.
- Pfade mit Duplicate Content. Mehrere URL-Pfade zum selben Inhalt.
Schritt 3: Wenig wertvolle URLs sperren
- Sperren Sie per robots.txt Muster, die keinen SEO-Wert erzeugen (Suchergebnisse, Session-Parameter).
- Verwenden Sie nofollow bei internen Links auf wenig wertvolle Seiten der Facettennavigation.
- Implementieren Sie eine URL-Parameter-Behandlung, die unnötige Parameter serverseitig entfernt.
- Doppelte Pfade mit Canonical-Tags und 301-Weiterleitungen zusammenführen.
Schritt 4: Wertvolle URLs priorisieren
- Stellen Sie sicher, dass Ihre wichtigsten Seiten von der Startseite oder der Hauptnavigation aus verlinkt sind (geringe Crawl-Tiefe).
- Reichen Sie eine XML-Sitemap ein, die nur Ihre wichtigsten Seiten enthält.
- Nutzen Sie die interne Verlinkung, um klare Pfade zu Seiten zu schaffen, die häufig gecrawlt werden sollen.
- Aktualisieren Sie Inhalte auf Prioritätsseiten regelmäßig – Signale für frischen Content fördern häufigeres Crawling.
Schritt 5: Server-Performance verbessern
- Optimieren Sie die Server-Antwortzeit auf unter 500 ms für alle Seiten.
- Nutzen Sie ein CDN, um die Latenz für weltweit verteilte Crawler zu verringern.
- Stellen Sie sicher, dass Ihr Server gleichzeitige Crawl-Anfragen ohne Drosselung bewältigen kann.
- Überwachen Sie Serverfehler – 500er-Fehler beim Crawling senken die Crawl-Rate von Googlebot.
Schritt 6: URL-Raum bereinigen
- Leiten Sie Seiten ohne Zweck weiter oder entfernen Sie sie (veraltete Aktionen, abgelaufene Events, Thin Content).
- Führen Sie Beinahe-Duplikate mit Canonical-Tags oder 301-Weiterleitungen zusammen.
- Entfernen Sie minderwertige Seiten aus Ihrer XML-Sitemap.
- Beheben Sie alle in der Google Search Console gemeldeten Crawling-Fehler.
Schritt 7: Crawl-Effizienz überwachen
Verfolgen Sie diese Kennzahlen monatlich:
- Pro Tag gecrawlte Seiten insgesamt
- Anteil gecrawlter Seiten mit hohem Wert (erzeugen Traffic oder Umsatz)
- Zeit von der Veröffentlichung eines Inhalts bis zum ersten Googlebot-Crawl
- Zeit vom ersten Crawl bis zur Indexierung
- Verhältnis von Sitemap-URLs zu indexierten URLs
- Server-Antwortzeit während Spitzenzeiten beim Crawling
- Nutzen Sie die Analyse von Server-Logs, um zu validieren, dass Googlebot seine Zeit auf Ihren priorisierten Seiten verbringt.
- Richten Sie Auditites Crawl-Monitoring ein, um Veränderungen der Crawl-Muster zu erkennen.
- Beobachten Sie nach Änderungen die Crawl-Statistiken zwei bis vier Wochen lang, um die Wirkung zu messen.
Verwandte Playbooks
Checkliste für die HTTPS-Migration mit Auditite
Vollständige Checkliste für die Migration von HTTP zu HTTPS, ohne Suchrankings, Traffic oder Link Equity zu verlieren. Schritt-für-Schritt-Anleitung.
ChecklisteJavaScript-SEO-Checkliste mit KI-Agenten
Wichtige Checkliste, damit per JavaScript gerenderte Inhalte vollständig crawlbar, indexierbar und für die Suche performant sind.
LeitfadenLeitfaden zur Logfile-Analyse: automatisierter SEO-Workflow
Nutzen Sie die Server-Logfile-Analyse, um zu verstehen, wie Suchmaschinen Ihre Website crawlen, und um die Verteilung des Crawl-Budgets zu optimieren.
Schluss mit Copy-and-paste. Starten Sie die Automatisierung.
Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.