Auditite
Zurück zum Blog
Technisches SEO Technisches SEO-Audit 2025-09-20 9 Min. Lesezeit

Logfile-Analyse für SEO: Crawl-Einblicke

Nutzen Sie die Analyse von Server-Logdateien, um herauszufinden, wie Googlebot Ihre Website crawlt, verschwendetes Crawl-Budget zu erkennen und die Indexierung zu verbessern.

A

Auditite-Team

Logfile-Analysetechnisches SEOCrawl-AnalyseGooglebot

Warum die Logfile-Analyse die am meisten unterschätzte SEO-Technik ist

Die meisten SEO-Profis verlassen sich auf Crawl-Daten von Drittanbietern und die Google Search Console, um zu verstehen, wie Suchmaschinen mit ihren Websites interagieren. Doch es gibt eine autoritativere Datenquelle, die genau jetzt auf Ihrem Server liegt: Logfiles.

Server-Logdateien zeichnen jede einzelne Anfrage an Ihre Website auf, auch die von Suchmaschinen-Crawlern. Durch die Analyse dieser Logs erhalten Sie ein verlässliches Bild davon, wie Googlebot, Bingbot und andere Crawler ihre Zeit auf Ihrer Website verbringen – ohne Stichproben, ohne Schätzungen, ohne Interpretation durch Dritte.

Was Server-Logs verraten

Jeder Logeintrag enthält typischerweise:

  • Zeitstempel — Wann die Anfrage gestellt wurde
  • IP-Adresse – identifiziert den Anfragenden (kann mit bekannten Bot-IPs abgeglichen werden)
  • User Agent – Der Bot oder Browser, der die Anfrage stellt
  • Angeforderte URL – welche Seite aufgerufen wurde
  • HTTP-Statuscode — Die Antwort des Servers (200, 301, 404, 500 usw.)
  • Übertragene Bytes — Größe der Antwort
  • Referrer — Woher die Anfrage kam (bei Bots oft leer)
  • Antwortzeit – Wie lange der Server für die Antwort brauchte

Aus diesen Rohdaten können Sie Erkenntnisse gewinnen, die kein anderes SEO-Tool liefern kann.

Zentrale Erkenntnisse aus der Logfile-Analyse

Crawl-Frequenz nach Seitentyp

Wie oft besucht Googlebot Ihre wichtigsten Seiten im Vergleich zu Seiten mit geringem Wert? Typische Erkenntnisse sind:

  • Blogbeiträge werden täglich gecrawlt, Produktseiten monatlich
  • Kategorieseiten werden zu oft gecrawlt wegen des Volumens interner Links
  • Neuer Content wird ignoriert, weil ihm interne Links fehlen
  • Parameter-URLs werden übermäßig gecrawlt, obwohl sie keinen SEO-Wert haben

Wenn Googlebot 60 % seines Crawl-Budgets auf Seiten verwendet, die 5 % Ihres Traffics erzeugen, haben Sie ein Crawl-Budget-Problem, das sofortige Aufmerksamkeit braucht.

Verwaiste Seiten in freier Wildbahn

Eine Seite, die in Ihren Logfiles auftaucht, aber keine internen Links auf Ihrer Website hat, erhält Crawler-Aufmerksamkeit über externe Links oder alte Sitemap-Einträge. Gleichen Sie die URLs aus den Logfiles mit Ihrer Website-Architektur ab, um solche verwaisten Seiten zu finden, und entscheiden Sie, ob Sie sie in Ihre Struktur einbinden oder sich selbst überlassen.

Verteilung der Statuscodes

Analysieren Sie den Prozentsatz der Anfragen, die den jeweiligen Statuscode zurückgeben:

  • Hohe 200er-Rate — Gesund, Crawler finden Live-Inhalte
  • Hohe 301/302-Rate – Crawler greifen auf alte URLs zu, erwägen Sie, Weiterleitungsketten zu beheben
  • Hohe 404-Rate — erhebliche Crawl-Verschwendung auf defekten URLs
  • Alle 5xx-Fehler – Serverprobleme, die das Crawling vollständig blockieren

Crawl-Rate und Serverleistung

Logdateien zeigen, ob Ihr Server schnell genug für effizientes Crawling ist. Liegen die durchschnittlichen Antwortzeiten über 500 ms, drosselt Googlebot seine Crawl-Rate. Verfolgen Sie Trends der Antwortzeit über die Zeit, um Performance-Verschlechterungen früh zu erkennen.

Tipps zur Verbesserung der Server-Antwortzeiten finden Sie in unserem Leitfaden zur TTFB-Optimierung.

Discovery- vs. Refresh-Crawls

Ordnen Sie Crawler-Besuche folgenden Kategorien zu:

  • Discovery-Crawls — Erstbesuche neuer URLs
  • Refresh-Crawls – erneute Besuche bereits gecrawlter URLs

Wenn Discovery-Crawls selten sind, wird Ihr neuer Content nicht schnell genug gefunden. Das kann auf eine schwache interne Verlinkung oder eine veraltete XML-Sitemap hindeuten.

So führen Sie eine Logfile-Analyse durch

Schritt 1: Logs sammeln

Besorgen Sie sich die Server-Logdateien von Ihrem Hosting-Anbieter oder Server-Administrator. Gängige Logformate sind:

  • Apache Common Log Format
  • Apache Combined Log Format (enthält Referrer und User-Agent)
  • Nginx-Zugriffsprotokolle
  • Logs von Cloud-Anbietern (CloudFront, Cloud CDN usw.)

Bei Websites hinter einem CDN müssen Sie möglicherweise Logs sowohl vom CDN als auch vom Origin-Server sammeln, da das CDN manche Anfragen beantworten kann, ohne den Origin zu erreichen.

Schritt 2: Nach Suchmaschinen-Bots filtern

Extrahieren Sie nur die Anfragen verifizierter Suchmaschinen-Crawler. Achten Sie auf User-Agents, die Folgendes enthalten:

  • Googlebot (Websuche)
  • Googlebot-Mobile (mobile Suche)
  • Googlebot-Image (Bildersuche)
  • Bingbot (Bing)
  • Slurp (Yahoo)

Wichtig: Überprüfen Sie die Identität von Bots per Reverse-DNS-Lookup der IP-Adresse. Viele Scraper fälschen User Agents von Suchmaschinen.

Schritt 3: Crawl-Muster analysieren

Analysieren Sie mit den gefilterten Daten:

  • Gecrawlte Seiten pro Tag – Trend des gesamten Crawl-Volumens
  • Am häufigsten gecrawlte URLs – wo Bots die meiste Zeit verbringen
  • Am seltensten gecrawlte URLs — Wichtige Seiten werden vernachlässigt
  • Crawl nach Seitentyp – Vergleichen Sie Blog-, Produkt-, Kategorie- und andere Seitentypen
  • Crawl nach Statuscode – wie viel Zeit auf Fehler und Weiterleitungen entfällt
  • Crawl nach Antwortzeit – Langsame Seiten identifizieren, die das Crawling ausbremsen

Schritt 4: Mit Performance-Daten abgleichen

Kombinieren Sie Erkenntnisse aus Logfiles mit:

  • Daten der Google Search Console – vergleichen Sie Crawl-Statistiken mit dem, was Google meldet
  • Analytics-Daten – Identifizieren Sie Seiten mit hohem organischem Traffic, aber geringer Crawl-Häufigkeit
  • Sitemap-Daten — Seiten in Ihrer Sitemap finden, die Crawler nie besuchen
  • Daten zu internen Links — Crawl-Häufigkeit mit der Anzahl interner Links in Beziehung setzen

Schritt 5: Maßnahmen ergreifen

Priorisieren Sie die Korrekturen auf Basis Ihrer Analyse:

  1. Zu oft gecrawlte, wenig wertvolle Seiten per robots.txt blockieren
  2. Interne Links hinzufügen auf zu selten gecrawlte, wertvolle Seiten
  3. 404-Fehler und Redirect-Ketten beheben, die Crawl-Budget verbrauchen
  4. Serverantwortzeiten verbessern für langsame Seiten
  5. Aktualisieren Sie Ihre Sitemap, damit sie dem entspricht, was Crawler tatsächlich besuchen sollen

Logdatei-Analyse automatisieren

Die manuelle Log-Analyse funktioniert bei einmaligen Audits, ist aber für laufendes Monitoring nicht tragfähig. Automatisieren Sie den Prozess, indem Sie:

  • Eine Log-Pipeline einrichten, die Bot-Anfragen aufnimmt, filtert und speichert
  • Dashboards erstellen, die Crawl-Muster im Zeitverlauf visualisieren
  • Benachrichtigungen einrichten für ungewöhnliches Crawl-Verhalten (plötzliche Einbrüche, Anstiege bei 5xx-Fehlern)
  • Monatliche Berichte planen, die Kennzahlen zur Crawl-Effizienz vergleichen

Auditite lässt sich mit Ihren Server-Logs verbinden und liefert eine kontinuierliche Crawl-Analyse. So werden Sie auf Probleme hingewiesen, sobald sie entstehen, statt auf Ihr nächstes manuelles Audit zu warten.

Worauf Sie beim laufenden Monitoring achten sollten

Verschiebungen im Crawl-Budget

Ein plötzlicher Rückgang des täglichen Crawl-Volumens kann auf Server-Performance-Probleme, eine fehlerhafte robots.txt-Konfiguration oder eine Strafe hinweisen. Gehen Sie dem sofort nach.

Crawling neuer URL-Muster

Wenn Googlebot plötzlich ein neues URL-Muster intensiv crawlt, hat er möglicherweise eine Reihe von Parameter-URLs oder einen neuen Bereich Ihrer Website entdeckt. Klären Sie, ob das beabsichtigt ist oder ein Leck, das gesperrt werden muss.

Saisonale Muster

Manche Websites erleben vor Hochsaisons eine höhere Crawl-Häufigkeit (z. B. E-Commerce vor Feiertagen). Wer diese Muster versteht, kann besser planen, wann neue Inhalte für maximale Crawl-Aufmerksamkeit veröffentlicht werden.

Bot-Vergleich

Vergleichen Sie das Verhalten von Googlebot und Bingbot. Wenn Bingbot Seiten crawlt, die Googlebot ignoriert (oder umgekehrt), zeigt das Unterschiede darin, wie jede Suchmaschine Inhalte entdeckt und priorisiert.

Wichtigste Erkenntnisse

Die Logfile-Analyse liefert das genaueste Bild davon, wie Suchmaschinen mit Ihrer Website interagieren:

  1. Server-Logs sind die maßgebliche Quelle für das Crawl-Verhalten – ohne Sampling oder Schätzung
  2. Crawl-Verschwendung identifizieren, indem Sie wenig wertvolle Seiten finden, die unverhältnismäßig viel Crawler-Aufmerksamkeit verbrauchen
  3. Vernachlässigte Seiten entdecken, die eine höhere Crawl-Frequenz verdienen
  4. Überwachen Sie die Serverleistung, damit Crawler nicht durch langsame Antworten ausgebremst werden
  5. Laufende Analyse automatisieren, um Probleme zu erkennen, bevor sie Rankings beeinträchtigen

In Kombination mit Daten aus der Google Search Console, Analytics und technischen SEO-Audits rundet die Logfile-Analyse das Bild der Suchmaschinen-Gesundheit Ihrer Website ab.

Bleiben Sie auf dem Laufenden

Erhalten Sie Einblicke, Strategien und Produkt-Updates direkt in Ihr Postfach.

Kein Spam. Jederzeit abbestellbar.

Möchten Sie Auditite in Aktion sehen?

Legen Sie los und erleben Sie, wie Auditite Ihren SEO-Audit-Workflow verändern kann.

Loslegen
Loslegen

Erkenntnisse jede Woche per E-Mail erhalten

Schließen Sie sich Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.