Logfile-Analyse
Erfahren Sie, was Logfile-Analyse ist, wie Sie Server-Logs analysieren, um das Verhalten von Suchmaschinen-Crawlern zu verstehen, und wie sie die technische SEO verbessert.
Die Logfile-Analyse ist die Auswertung von Server-Zugriffslogs, um zu verstehen, wie Suchmaschinen-Crawler mit Ihrer Website interagieren. Jedes Mal, wenn der Googlebot, Bingbot oder ein anderer Crawler eine Seite anfragt, protokolliert Ihr Server die Anfrage – einschließlich URL, Zeitstempel, User-Agent, HTTP-Statuscode und Antwortgröße. Die Auswertung dieser Logs zeigt genau, welche Seiten Crawler besuchen, wie oft sie wiederkehren, welche Seiten sie ignorieren und auf welche Fehler sie stoßen. Diese Daten sind weit detaillierter und genauer als alles, was die Google Search Console oder ein Drittanbieter-Tool liefert.
Warum das für SEO wichtig ist
Die Logfile-Analyse liefert Ihnen verlässliche Fakten zum Crawler-Verhalten. Während die Google Search Console meldet, was Google indexiert hat, zeigen Server-Logs, was Google tatsächlich gecrawlt hat – einschließlich Seiten, die gecrawlt, aber nicht indexiert wurden, und Seiten, die nie gecrawlt wurden. Diese Unterscheidung ist entscheidend für die Diagnose von Indexierungsproblemen.
Die Verteilung des Crawl-Budgets zu verstehen, ist einer der wichtigsten Anwendungsfälle. Logs zeigen, ob Crawler ihre Zeit auf wenig wertvollen Seiten wie paginierten Archiven, gefilterten URLs aus der Facettennavigation oder Parametervarianten verbringen statt auf Ihren wichtigsten Inhalten. Sie decken auch Crawl-Fallen, Redirect-Schleifen und Serverfehler auf, die unbemerkt Crawl-Ressourcen verschwenden.
So setzen Sie es um
Beginnen Sie mit dem Zugriff auf Ihre rohen Server-Logs. Die meisten Hosting-Anbieter speichern sie in Standardformaten wie dem Apache Combined Log Format oder Nginx-Access-Logs. Wenn Sie ein CDN nutzen, müssen Sie das Logging unter Umständen auf CDN-Ebene aktivieren, um Bot-Anfragen zu erfassen, die aus dem Cache bedient werden.
Filtern Sie Logs anhand der User-Agent-Strings, um den Traffic von Suchmaschinen-Crawlern zu isolieren. Der Googlebot kennzeichnet sich mit „Googlebot“ im User-Agent, Bingbot mit „bingbot“ und so weiter. Beachten Sie, dass manche Bots ihre User-Agents tarnen – prüfen Sie legitimen Bot-Traffic daher per Reverse-DNS-Lookup.
Nutzen Sie Logfile-Analyse-Tools wie Screaming Frog Log Analyzer, Botify oder eigene Skripte, um große Logfiles zu verarbeiten. Konzentrieren Sie sich auf zentrale Kennzahlen: Crawl-Häufigkeit pro URL, Verteilung der Statuscodes, durchschnittliche Antwortzeit und das Verhältnis von gecrawlten zu indexierten Seiten.
Best Practices
- Regelmäßig analysieren: Führen Sie die Logfile-Analyse mindestens monatlich durch. Crawl-Muster ändern sich im Zeitverlauf, und wer Probleme früh erkennt, verhindert, dass sich Indexierungsprobleme aufschaukeln.
- Mit Ihrer Sitemap abgleichen: Vergleichen Sie die URLs in Ihrer XML-Sitemap mit den URLs, die Bots tatsächlich gecrawlt haben. Sitemap-URLs, die nie gecrawlt werden, deuten auf Probleme bei Entdeckung oder Priorität hin.
- Crawl-Frequenz-Trends überwachen: Ein plötzlicher Rückgang der Crawl-Frequenz deutet häufig auf ein technisches Problem hin – Serverfehler, Änderungen an der robots.txt oder Qualitätsprobleme der Website.
- Statuscodes verfolgen: Hohe Raten von 404, 500 oder 301/302-Weiterleitungen im Crawler-Traffic deuten auf Probleme hin, die sofortige Aufmerksamkeit brauchen.
- Verwaiste Seiten identifizieren: Seiten, die Crawler finden, die aber weder in Ihrer Sitemap noch in der internen Verlinkung auftauchen, sind verwaiste Seiten, die verknüpft oder entfernt werden sollten.
- Antwortzeiten messen: Reagiert Ihr Server langsam auf Crawler-Anfragen, reduzieren Bots ihre Crawl-Rate. Die Logdatei-Analyse zeigt, welche Seiten oder Bereiche die langsamsten Server-Antwortzeiten haben.
Die Logfile-Analyse ist die zuverlässigste Methode, um zu verstehen, wie Suchmaschinen Ihre Website tatsächlich erleben.
In Aktion ansehen
Erfahren Sie, wie Auditite die Logfile-Analyse in der Praxis angeht.
Technisches SEO entdecken