Auditite
Alle Playbooks
Leitfaden Technical-SEO-Spezialist

Leitfaden zur Logfile-Analyse: automatisierter SEO-Workflow

Nutzen Sie die Server-Logfile-Analyse, um zu verstehen, wie Suchmaschinen Ihre Website crawlen, und um die Verteilung des Crawl-Budgets zu optimieren.

Überblick

Server-Logdateien zeigen genau, wie Suchmaschinen mit Ihrer Website interagieren – welche Seiten sie crawlen, wie oft, welche sie überspringen und wo Fehler auftreten. Diese Daten sind unschätzbar, um die Verteilung des Crawl-Budgets zu verstehen und Indexierungsprobleme zu diagnostizieren, die andere Tools nicht erkennen.

Schritt 1: Logdateien beschaffen und aufbereiten

  1. Fordern Sie Zugriff auf die rohen Zugriffslogs Ihres Webservers an (Apache, Nginx oder CDN-Logs).
  2. Ermitteln Sie das verwendete Logformat (Common Log Format, Combined oder benutzerdefiniert).
  3. Exportieren Sie mindestens 30 Tage Logdaten für eine aussagekräftige Analyse.
  4. Filtern Sie die Logs so, dass nur Anfragen von Suchmaschinen-Bots (Googlebot, Bingbot usw.) enthalten sind.
  5. Prüfen Sie, ob die Bots echt sind, indem Sie kontrollieren, dass ihre IP-Adressen zu bekannten IP-Bereichen von Google/Bing aufgelöst werden.

Schritt 2: Wichtige Kennzahlen extrahieren

Crawl-Frequenz

  1. Berechnen Sie die Gesamtzahl der Googlebot-Anfragen pro Tag.
  2. Erkennen Sie Trends – nimmt die Crawl-Häufigkeit zu, ab oder bleibt sie stabil?
  3. Vergleichen Sie die Crawl-Häufigkeit mit der Anzahl der Seiten Ihrer Website.

Crawl-Verteilung

  1. Gruppieren Sie gecrawlte URLs nach Seiten-Template (Produkt, Kategorie, Blog usw.).
  2. Berechnen Sie, wie viel Prozent des Crawl-Budgets auf jeden Template-Typ entfallen.
  3. Vergleichen Sie das mit dem Umsatz- oder Traffic-Beitrag der einzelnen Templates.
Template-Typ% des Crawl-Budgets% des organischen Umsatzes
Produktseiten??
Kategorieseiten??
Blogbeiträge??
Sonstiges??

Wenn ein Template-Typ einen großen Teil des Crawl-Budgets verbraucht, aber wenig Umsatz beiträgt, gehen Sie der Ursache nach.

Verteilung der Statuscodes

  1. Berechnen Sie den Prozentsatz der Bot-Anfragen, die den jeweiligen Statuscode zurückgeben (200, 301, 302, 404, 500).
  2. Ein hoher Anteil an Nicht-200-Antworten verschwendet Crawl-Budget.
  3. Identifizieren Sie konkrete URLs, die Fehler zurückgeben, und beheben Sie diese.

Crawl-Latenz

  1. Berechnen Sie die durchschnittliche Antwortzeit für Bot-Anfragen.
  2. Finden Sie Seiten mit Antwortzeiten über 2 Sekunden – sie bremsen das gesamte Crawling aus.
  3. Vergleichen Sie die Antwortzeiten für Bots mit denen für Nutzer, um bot-spezifische Verlangsamungen zu erkennen.

Schritt 3: Crawl-Budget-Verschwendung erkennen

  1. Finden Sie Seiten, die Googlebot häufig crawlt, die aber keinen SEO-Wert haben (Admin-Seiten, Suchergebnisse, gefilterte URLs).
  2. Identifizieren Sie Redirect-Ketten, bei denen Googlebot mehreren Sprüngen folgen muss, um die finale URL zu erreichen.
  3. Suchen Sie nach Soft-404-Seiten (Seiten, die Status 200 zurückgeben, aber keinen echten Inhalt haben).
  4. Suchen Sie nach endlosen Crawl-Fallen (Kalenderseiten, parametrisierte URLs, die unbegrenzte Kombinationen erzeugen).

Schritt 4: Nicht gecrawlte wichtige Seiten entdecken

  1. Vergleichen Sie die URLs in Ihrer Sitemap mit den vom Googlebot gecrawlten URLs.
  2. Identifizieren Sie Sitemap-URLs, die Googlebot in den letzten 30 Tagen nicht besucht hat.
  3. Diese Seiten haben möglicherweise Probleme mit der internen Verlinkung, liegen zu tief in der Seitenarchitektur oder sind per robots.txt blockiert.
  4. Priorisieren Sie die Behebung der Zugänglichkeit bei wertvollen, nicht gecrawlten Seiten.

Schritt 5: Crawl-Budget optimieren

Ergreifen Sie auf Basis Ihrer Ergebnisse diese Maßnahmen:

  1. Sperren Sie Seiten mit geringem Wert per robots.txt oder durch nofollow-Links im internen Linking für das Crawling.
  2. Weiterleitungsketten beheben, um verschwendete Crawl-Hops zu reduzieren.
  3. Seiten mit 404- und 500-Fehlern reparieren oder entfernen.
  4. Verbessern Sie die Serverantwortzeit für langsame Seiten.
  5. Fügen Sie interne Links zu wichtigen Seiten hinzu, die nicht gecrawlt werden.
  6. Aktualisieren Sie Ihre XML-Sitemap so, dass sie nur Seiten enthält, die gecrawlt und indexiert werden sollen.

Schritt 6: Laufendes Monitoring

  1. Analysieren Sie Logfiles monatlich, um Änderungen im Crawl-Verhalten zu verfolgen.
  2. Setzen Sie Änderungen der Crawl-Häufigkeit mit Veränderungen bei Indexierung und Rankings in Beziehung.
  3. Achten Sie auf plötzliche Einbrüche beim Crawling, die auf ein technisches Problem oder eine Penalty hindeuten können.
  4. Analysieren Sie nach größeren Website-Änderungen (Migration, Relaunch, Start eines neuen Bereichs) die Logs innerhalb der ersten Woche, um ein gesundes Crawl-Verhalten zu bestätigen.
  5. Nutzen Sie die Crawl-Analysen von Auditite, um Logfile-Daten um zusätzliche Crawl-Erkenntnisse zu ergänzen.

Tools für die Logfile-Analyse

Sind Ihre Logs für eine manuelle Analyse zu groß, nutzen Sie spezialisierte Tools, die Server-Logs in großem Maßstab parsen, filtern und visualisieren. Achten Sie auf Tools, die Log-Daten mit Crawl-Daten und Suchanalysen verknüpfen können, um ein vollständiges Bild zu erhalten.

Schluss mit Copy-and-paste. Starten Sie die Automatisierung.

Auditite macht aus Playbooks lebendige Audit-Workflows. Legen Sie los und sehen Sie, wie.

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.