Leitfaden zur Logfile-Analyse: automatisierter SEO-Workflow
Nutzen Sie die Server-Logfile-Analyse, um zu verstehen, wie Suchmaschinen Ihre Website crawlen, und um die Verteilung des Crawl-Budgets zu optimieren.
Überblick
Server-Logdateien zeigen genau, wie Suchmaschinen mit Ihrer Website interagieren – welche Seiten sie crawlen, wie oft, welche sie überspringen und wo Fehler auftreten. Diese Daten sind unschätzbar, um die Verteilung des Crawl-Budgets zu verstehen und Indexierungsprobleme zu diagnostizieren, die andere Tools nicht erkennen.
Schritt 1: Logdateien beschaffen und aufbereiten
- Fordern Sie Zugriff auf die rohen Zugriffslogs Ihres Webservers an (Apache, Nginx oder CDN-Logs).
- Ermitteln Sie das verwendete Logformat (Common Log Format, Combined oder benutzerdefiniert).
- Exportieren Sie mindestens 30 Tage Logdaten für eine aussagekräftige Analyse.
- Filtern Sie die Logs so, dass nur Anfragen von Suchmaschinen-Bots (Googlebot, Bingbot usw.) enthalten sind.
- Prüfen Sie, ob die Bots echt sind, indem Sie kontrollieren, dass ihre IP-Adressen zu bekannten IP-Bereichen von Google/Bing aufgelöst werden.
Schritt 2: Wichtige Kennzahlen extrahieren
Crawl-Frequenz
- Berechnen Sie die Gesamtzahl der Googlebot-Anfragen pro Tag.
- Erkennen Sie Trends – nimmt die Crawl-Häufigkeit zu, ab oder bleibt sie stabil?
- Vergleichen Sie die Crawl-Häufigkeit mit der Anzahl der Seiten Ihrer Website.
Crawl-Verteilung
- Gruppieren Sie gecrawlte URLs nach Seiten-Template (Produkt, Kategorie, Blog usw.).
- Berechnen Sie, wie viel Prozent des Crawl-Budgets auf jeden Template-Typ entfallen.
- Vergleichen Sie das mit dem Umsatz- oder Traffic-Beitrag der einzelnen Templates.
| Template-Typ | % des Crawl-Budgets | % des organischen Umsatzes |
|---|---|---|
| Produktseiten | ? | ? |
| Kategorieseiten | ? | ? |
| Blogbeiträge | ? | ? |
| Sonstiges | ? | ? |
Wenn ein Template-Typ einen großen Teil des Crawl-Budgets verbraucht, aber wenig Umsatz beiträgt, gehen Sie der Ursache nach.
Verteilung der Statuscodes
- Berechnen Sie den Prozentsatz der Bot-Anfragen, die den jeweiligen Statuscode zurückgeben (200, 301, 302, 404, 500).
- Ein hoher Anteil an Nicht-200-Antworten verschwendet Crawl-Budget.
- Identifizieren Sie konkrete URLs, die Fehler zurückgeben, und beheben Sie diese.
Crawl-Latenz
- Berechnen Sie die durchschnittliche Antwortzeit für Bot-Anfragen.
- Finden Sie Seiten mit Antwortzeiten über 2 Sekunden – sie bremsen das gesamte Crawling aus.
- Vergleichen Sie die Antwortzeiten für Bots mit denen für Nutzer, um bot-spezifische Verlangsamungen zu erkennen.
Schritt 3: Crawl-Budget-Verschwendung erkennen
- Finden Sie Seiten, die Googlebot häufig crawlt, die aber keinen SEO-Wert haben (Admin-Seiten, Suchergebnisse, gefilterte URLs).
- Identifizieren Sie Redirect-Ketten, bei denen Googlebot mehreren Sprüngen folgen muss, um die finale URL zu erreichen.
- Suchen Sie nach Soft-404-Seiten (Seiten, die Status 200 zurückgeben, aber keinen echten Inhalt haben).
- Suchen Sie nach endlosen Crawl-Fallen (Kalenderseiten, parametrisierte URLs, die unbegrenzte Kombinationen erzeugen).
Schritt 4: Nicht gecrawlte wichtige Seiten entdecken
- Vergleichen Sie die URLs in Ihrer Sitemap mit den vom Googlebot gecrawlten URLs.
- Identifizieren Sie Sitemap-URLs, die Googlebot in den letzten 30 Tagen nicht besucht hat.
- Diese Seiten haben möglicherweise Probleme mit der internen Verlinkung, liegen zu tief in der Seitenarchitektur oder sind per robots.txt blockiert.
- Priorisieren Sie die Behebung der Zugänglichkeit bei wertvollen, nicht gecrawlten Seiten.
Schritt 5: Crawl-Budget optimieren
Ergreifen Sie auf Basis Ihrer Ergebnisse diese Maßnahmen:
- Sperren Sie Seiten mit geringem Wert per robots.txt oder durch nofollow-Links im internen Linking für das Crawling.
- Weiterleitungsketten beheben, um verschwendete Crawl-Hops zu reduzieren.
- Seiten mit 404- und 500-Fehlern reparieren oder entfernen.
- Verbessern Sie die Serverantwortzeit für langsame Seiten.
- Fügen Sie interne Links zu wichtigen Seiten hinzu, die nicht gecrawlt werden.
- Aktualisieren Sie Ihre XML-Sitemap so, dass sie nur Seiten enthält, die gecrawlt und indexiert werden sollen.
Schritt 6: Laufendes Monitoring
- Analysieren Sie Logfiles monatlich, um Änderungen im Crawl-Verhalten zu verfolgen.
- Setzen Sie Änderungen der Crawl-Häufigkeit mit Veränderungen bei Indexierung und Rankings in Beziehung.
- Achten Sie auf plötzliche Einbrüche beim Crawling, die auf ein technisches Problem oder eine Penalty hindeuten können.
- Analysieren Sie nach größeren Website-Änderungen (Migration, Relaunch, Start eines neuen Bereichs) die Logs innerhalb der ersten Woche, um ein gesundes Crawl-Verhalten zu bestätigen.
- Nutzen Sie die Crawl-Analysen von Auditite, um Logfile-Daten um zusätzliche Crawl-Erkenntnisse zu ergänzen.
Tools für die Logfile-Analyse
Sind Ihre Logs für eine manuelle Analyse zu groß, nutzen Sie spezialisierte Tools, die Server-Logs in großem Maßstab parsen, filtern und visualisieren. Achten Sie auf Tools, die Log-Daten mit Crawl-Daten und Suchanalysen verknüpfen können, um ein vollständiges Bild zu erhalten.
Verwandte Playbooks
Checkliste zur Mobile-SEO-Optimierung mit Auditite
Wichtige Checkliste, damit Ihre Website ein einwandfreies mobiles Erlebnis bietet, das die Mobile-First-Indexierungsstandards von Google erfüllt.
ChecklisteMobile-SEO-Checkliste: automatisierter SEO-Workflow
Umfassende Checkliste, damit Ihre Website sowohl Nutzern als auch Suchmaschinen eine optimale mobile Erfahrung bietet.
PlaybookRedirect-Management-Playbook mit Auditite
Verwalten Sie URL-Weiterleitungen effektiv, um SEO-Wert zu erhalten, defekte Links zu beheben und eine saubere Weiterleitungsarchitektur zu pflegen.
Schluss mit Copy-and-paste. Starten Sie die Automatisierung.
Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.