Screaming Frog Log Analyzer
Eine Desktop-Anwendung zur Analyse von Server-Logdateien, um zu verstehen, wie Suchmaschinen-Bots Ihre Website crawlen.
Fazit
Das zugänglichste Tool für Logfile-Analyse im SEO, unverzichtbar, um zu verstehen, wie Suchmaschinen Ihre Website tatsächlich crawlen.
Überblick
Der Screaming Frog Log File Analyzer ist ein Begleitprodukt zum beliebten Screaming Frog SEO Spider. Während der Spider Websites wie eine Suchmaschine crawlt, untersucht der Log Analyzer anhand der Server-Zugriffsprotokolle, wie Suchmaschinen Ihre Website tatsächlich gecrawlt haben. Diese realen Crawl-Daten liefern Erkenntnisse, die kein synthetischer Crawl nachbilden kann.
Zu verstehen, wie Googlebot und andere Suchmaschinen-Bots mit Ihrer Website interagieren, ist für technisches SEO entscheidend, besonders bei großen Websites, bei denen das Management des Crawl-Budgets direkt Indexierung und Ranking beeinflusst. Der Log Analyzer macht diese Daten zugänglich, ohne dass Sie Logs per Kommandozeile verarbeiten müssen.
Wichtige Funktionen
Der Log Analyzer importiert Server-Logdateien in den Formaten Apache, Nginx, IIS und individuellen Formaten. Er parst Millionen von Logeinträgen und filtert sie nach Bot-Typ, sodass genau sichtbar wird, welche URLs Googlebot, Bingbot und andere Crawler angefragt haben, wann sie zu Besuch waren und welche Antwortcodes sie erhalten haben.
Die Analyse der Crawl-Häufigkeit zeigt, wie oft jede URL gecrawlt wird, und deckt Seiten auf, die zu viel oder zu wenig Aufmerksamkeit von Bots erhalten. Das ist für die Optimierung des Crawl-Budgets entscheidend – verbringt Googlebot die meiste Zeit mit wenig wertvollen Seiten (Facettennavigation, Parameter-URLs, alte Blogartikel), werden wertvolle Seiten möglicherweise nicht häufig genug gecrawlt.
Die Analyse der Antwortcodes deckt 404-Fehler, Weiterleitungsketten und Serverfehler auf, auf die Bots stoßen. Diese Probleme sind in Standard-Analytics unsichtbar, da sie nur bei Bot-Crawls auftreten, nicht bei Besuchen von Nutzern.
Die Integration mit dem Screaming Frog SEO Spider macht den Log Analyzer außergewöhnlich leistungsstark. Durch die Kombination von Spider-Crawl-Daten mit Logfile-Daten können Nutzer verwaiste Seiten identifizieren (von Bots gecrawlte URLs, die nicht von der Website verlinkt sind), Inhalte entdecken, die Suchmaschinen nicht finden können (verlinkte Seiten, die nie gecrawlt wurden), und vergleichen, was die Website bereitstellt und worauf Bots tatsächlich zugreifen.
Zu den Visualisierungsfunktionen gehören Crawl-Trend-Diagramme, die Verteilung des Crawlings nach Verzeichnissen und Aufschlüsselungen nach Statuscodes. Berichte lassen sich für Stakeholder-Präsentationen exportieren.
Preise
Die kostenlose Version analysiert bis zu 1.000 Log-Ereignisse. Die kostenpflichtige Lizenz kostet 139 $ pro Jahr und hebt alle Limits auf, sodass Logdateien mit Millionen Einträgen analysiert werden können. Die Lizenz gilt pro Rechner und entspricht dem Lizenzmodell des Screaming Frog SEO Spider.
Ideale Anwendungsfälle
Der Log Analyzer ist unverzichtbar für technische SEOs, die große Websites verwalten – E-Commerce-Websites mit Millionen von Produktseiten, Nachrichtenpublikationen mit umfangreichen Archiven und Enterprise-Websites mit komplexen URL-Strukturen. Besonders wertvoll ist er bei Website-Migrationen, wenn es entscheidend ist zu prüfen, dass Bots neue URLs finden und crawlen können. Crawl-Budget-Audits stützen sich stark auf Logfile-Daten, die nur diese Art von Tool liefern kann.
Einschränkungen
Wie sein Schwesterprodukt ist der Log Analyzer eine Desktop-Anwendung ohne Cloud- oder Kollaborationsfunktionen. Ergebnisse lassen sich nicht einfach mit Teammitgliedern teilen, die die Software nicht installiert haben. Das Tool benötigt Zugriff auf rohe Server-Logfiles, die bei manchen Hosting-Anbietern oder CDN-Konfigurationen schwer zu beschaffen sein können. Die Visualisierungen sind funktional, aber nicht so ausgereift wie bei Cloud-Alternativen wie Botify oder OnCrawl, die umfangreichere Dashboards und automatisierte Analysen bieten.
Am besten geeignet für
Technical-SEO-Profis, die das Crawl-Verhalten von Googlebot verstehen und Crawl-Budget-Verschwendung erkennen müssen
Weniger geeignet für
Nicht-technische Marketer oder kleine Websites, bei denen das Crawl-Budget keine Rolle spielt
Wichtige Funktionen
- Server-Logfiles in allen gängigen Formaten importieren und parsen
- Nach Bot-Typ filtern (Googlebot, Bingbot usw.)
- Analyse von Crawl-Häufigkeit und Aktualität pro URL
- Integration mit den Crawl-Daten des Screaming Frog SEO Spider
- Visualisierung von Crawl-Mustern und Trends im Zeitverlauf
Vorteile
- + Verarbeitet Logdateien auch bei sehr großen Datensätzen schnell
- + Kombiniert Crawl-Daten mit Logdaten für ein vollständiges Bild
- + Gleiches Jahreslizenzmodell wie beim SEO Spider — für den Gegenwert erschwinglich
Nachteile
- - Nur als Desktop-Anwendung, ohne Cloud- oder Teamfunktionen
- - Erfordert Zugriff auf rohe Server-Logdateien, den manche Hoster einschränken
- - Eingeschränkte Visualisierung im Vergleich zu cloudbasierten Logfile-Analyse-Tools
Weitere Tools für Crawler- & Logdatei-Analyse
Ein cloudbasierter Website-Crawler und eine technische SEO-Plattform auf Enterprise-Niveau, jetzt unter der Marke Lumar, für Website-Intelligence im großen Maßstab.
SE RankingEine All-in-One-SEO-Plattform mit Rank-Tracking, Site-Audit, Keyword-Recherche, Backlink-Monitoring und Wettbewerbsanalyse zu wettbewerbsfähigen Preisen.
SearchmetricsEine Enterprise-Plattform für SEO und Content-Marketing mit Tracking der Suchsichtbarkeit, Content-Optimierung und Wettbewerbsanalyse.
SemrushDie führende All-in-One-Plattform für digitales Marketing mit Tools für SEO, PPC, Content-Marketing, Social Media und Wettbewerbsrecherche, die von über 10 Millionen Marketern genutzt wird.