Screaming Frog SEO Spider: Website-Crawler für technische Prüfungen

Der Screaming Frog SEO Spider ist ein Website-Crawler. Er ruft die Seiten einer Website ab wie eine Suchmaschine und prüft sie nach Angaben des Herstellers auf mehr als 300 SEO-Probleme ^[1]. Das Programm läuft als Desktop-Anwendung unter Windows, macOS und Linux, die Crawl-Daten liegen also auf deinem Rechner ^{[1, 2]}. Hersteller ist die Firma Screaming Frog. Laut Hersteller nutzen SEO-Fachleute und Agenturen das Programm für technische Prüfungen von Websites ^[1].

Was der SEO Spider findet

Ein Crawl beginnt bei einer Startadresse und folgt von dort den Links. Zu jeder gefundenen Adresse speichert der SEO Spider Statuscode, Titel, Meta-Beschreibung, Überschriften und weitere Angaben. Laut Hersteller deckt er unter anderem diese Punkte ab ^[1]:

• defekte Links, Serverfehler und Weiterleitungen, auch Ketten und Schleifen
• fehlende, doppelte, zu lange oder zu kurze Seitentitel und Meta-Beschreibungen
• Meta-Robots-Angaben, X-Robots-Tag, Canonical-Tags und hreflang
• exakt gleiche und fast gleiche Inhalte sowie Seiten mit wenig Text
• Überschriften, Wortzahlen, Bilder, interne Links und Ankertexte
• Sicherheitsprobleme, Prüfung strukturierter Daten und Barrierefreiheit

Die wichtigsten Angaben wie Adresse, Titel, Beschreibung und Überschriften lassen sich in eine Tabellenkalkulation exportieren, fehlerhafte Links samt der Seiten, auf denen sie stehen, auch gesammelt ^[1]. Was ein Statuscode wie 301, 404 oder 503 bedeutet, erklärt HTTP-Statuscodes von 200 bis 503. Wie du doppelte Inhalte über das Canonical-Tag steuerst, steht unter Canonical-Tag: doppelte Inhalte steuern.

Kostenlose Version und Lizenz

Die kostenlose Version crawlt bis zu 500 Adressen auf einmal ^[2]. Hat deine Website weniger Adressen, reicht das für einen vollständigen Durchlauf. Laut Benutzerhandbuch hebt die kostenpflichtige Lizenz die Grenze von 500 Adressen auf und gibt außerdem Zugriff auf die Konfiguration, auf das Speichern und Öffnen von Crawls und auf Funktionen wie JavaScript-Rendering, benutzerdefinierte Extraktion, die Anbindung von Google Analytics, Search Console und PageSpeed Insights sowie geplante Crawls ^[2]. Die Lizenz gilt jeweils ein Jahr ^[1]. Auch mit Lizenz hängt die mögliche Größe eines Crawls vom zugewiesenen Arbeitsspeicher und vom freien Speicherplatz ab ^[1].

Den aktuellen Preis nennt der Hersteller auf seiner Website. Prüfe vor dem Kauf dort auch, ob die Lizenz für eine Person oder für mehrere Nutzer gilt.

Installation und Speichermodus

Das Benutzerhandbuch nennt als Mindestausstattung ein 64-Bit-Betriebssystem mit mindestens 4 GB verfügbarem Arbeitsspeicher ^[2]. Unter Windows startest du das Installationsprogramm, unter macOS ziehst du die Anwendung in den Programme-Ordner, für Ubuntu und Fedora gibt es eigene Pakete ^[2].

Wichtig für größere Websites ist der Speichermodus. Voreingestellt ist die Datenbankspeicherung: Der SEO Spider schreibt die Crawl-Daten auf die Festplatte und speichert Crawls automatisch ^[2]. Der Hersteller empfiehlt diesen Modus für Rechner mit SSD, weil er bei gleichem Arbeitsspeicher mehr Adressen erlaubt ^[2]. Die ältere Speicherung im Arbeitsspeicher hält alle Daten im RAM; bei der Voreinstellung von 2 GB schafft sie laut Handbuch typischerweise etwa 10.000 bis 100.000 Adressen ^[2]. Als Richtwerte nennt der Hersteller rund 8 GB Arbeitsspeicher für Crawls unter 200.000 Adressen sowie eine SSD und 16 GB Arbeitsspeicher oder mehr ab einer Million Adressen ^[2]. Die Speicherzuteilung änderst du in den Einstellungen unter "Memory Allocation"; danach muss das Programm neu starten ^[2].

Den ersten Crawl einrichten

Für den ersten Durchlauf reicht es, die Startadresse einzugeben und den Crawl zu starten. Einige Voreinstellungen solltest du trotzdem kennen. Der SEO Spider hält sich standardmäßig an die robots.txt der Website; alternativ kannst du sie in der kostenpflichtigen Version ignorieren oder ignorieren und die gesperrten Adressen trotzdem melden ^{[2, 3]}. Wie die Regeln in dieser Datei wirken, erklärt robots.txt richtig schreiben.

Als Kennung schickt das Programm seinen eigenen User-Agent, es gibt aber Vorlagen für Googlebot und Bingbot ^[3]. Wenn du den User-Agent auf Googlebot umstellst, kann eine Website dich trotzdem anders behandeln als den echten Googlebot. Google beschreibt, wie Betreiber Anfragen per umgekehrtem DNS-Lookup der IP-Adresse prüfen, um Zugriffe zu erkennen, die sich nur als Google ausgeben ^[4]. Ergebnisse mit fremder Kennung sind deshalb nicht immer dasselbe, was Google sieht.

Die Geschwindigkeit liegt standardmäßig bei 5 Threads, damit Server nicht überlastet werden ^[3]. Der Hersteller warnt, dass ein Server in sehr extremen Fällen überlastet werden und abstürzen kann ^[3]. Bei fremden Websites oder schwachem Hosting lässt du die Voreinstellung am besten stehen oder senkst sie. Über die Grenzen im Reiter "Limits" begrenzt du die Gesamtzahl der Adressen, die Klicktiefe und die Ordnertiefe ^[3].

Ergebnisse auswerten

Nach dem ersten Crawl stehen schnell Hunderte Hinweise in den Tabellen. Die folgende Reihenfolge ist unsere eigene Empfehlung für die Auswertung. Sie beginnt bei Fehlern, die Besucher und Crawler direkt aufhalten, und endet bei Feinheiten.

1. Serverfehler und nicht erreichbare Seiten: Adressen mit 5xx-Status zuerst klären, weil dort gar kein Inhalt ankommt.
2. Defekte interne Links: Links auf 404-Seiten in der eigenen Navigation und im Text auf die richtige Adresse ändern.
3. Weiterleitungsketten und Schleifen: interne Links direkt auf das endgültige Ziel setzen.
4. Indexierungsangaben: prüfen, ob noindex, Canonical-Tags und robots.txt zu dem passen, was in den Suchergebnissen erscheinen soll.
5. Titel und Meta-Beschreibungen: fehlende und doppelte Angaben auf wichtigen Seiten ergänzen.
6. Inhalte: fast gleiche Seiten und Seiten mit wenig Text ansehen und entscheiden, ob sie zusammengelegt oder ausgebaut werden.

Mit Lizenz lassen sich Crawls in festen Abständen planen und die Daten automatisch exportieren, auch nach Google Sheets ^[1]. Nach den Änderungen zeigt ein zweiter Crawl, ob die Fehler verschwunden sind. Wie Titel und Beschreibungen aussehen sollten, steht unter Title-Tag und Meta Description, und wenn Seiten trotz fehlerfreiem Crawl nicht in der Suche auftauchen, hilft Seite wird nicht indexiert: Ursachen finden.

JavaScript-Rendering

Im Modus "Text Only" liest der SEO Spider nur das rohe HTML aus ^[3]. Websites, die Inhalte und Links erst per JavaScript erzeugen, wirken in diesem Modus leer oder unvollständig. Für solche Seiten gibt es den Modus "JavaScript": Dann führt das Programm das JavaScript im Client aus und rendert die Seite in einem eingebauten Chrome-Browser ohne Oberfläche ^[3]. Der Hersteller nennt Frameworks wie Angular, React und Vue.js als Beispiele ^[1].

Ein Vergleich beider Modi zeigt, welche Inhalte und Links nur nach dem Rendern vorhanden sind. Fehlen wichtige Links im rohen HTML, hängt deine Website stärker vom Rendern durch die Suchmaschine ab.

Daten aus anderen Quellen einbinden

Der SEO Spider kann Daten aus Google Analytics, der Search Console und PageSpeed Insights abrufen und je gecrawlter Adresse anzeigen, etwa Nutzer-, Leistungs- und Ladezeitdaten ^[1]. So siehst du in einer Tabelle, ob eine Seite mit Fehlern auch Besucher oder Impressionen hat. Wie du die Search Console selbst einrichtest, erklärt Google Search Console einrichten und nutzen.

Mit der benutzerdefinierten Extraktion liest du beliebige Angaben aus dem HTML einer Seite aus, über CSS-Pfad, XPath oder reguläre Ausdrücke ^[1]. Der Hersteller nennt als Beispiele Social-Meta-Tags, zusätzliche Überschriften, Preise und Artikelnummern ^[1]. Damit lässt sich zum Beispiel prüfen, ob auf allen Produktseiten ein bestimmtes Feld gefüllt ist.

Crawls vergleichen und Relaunch prüfen

Der SEO Spider zeigt, was sich zwischen zwei Crawls geändert hat ^[1]. Mit einer Zuordnung von Adressen kann er außerdem eine Testumgebung mit der Live-Website vergleichen ^[1]. Das hilft bei einem Umzug: Du crawlst die alte Website, crawlst die neue in der Testumgebung und siehst, welche Seiten fehlen oder andere Titel haben. Neben dem normalen Spider-Modus gibt es einen Listenmodus, in dem du eine feste Liste von Adressen prüfst ^[2]. So kontrollierst du nach dem Umzug, ob alle alten Adressen per 301 auf die neuen weiterleiten.

Die Schritte eines Umzugs beschreibt Website-Relaunch ohne Rankingverlust, die Arten von Weiterleitungen Weiterleitungen und SEO: 301, 302 und 410.

XML-Sitemaps erzeugen

Aus einem Crawl kann der SEO Spider XML-Sitemaps und Bild-Sitemaps erstellen ^[1]. Du legst fest, welche Adressen hineinkommen, und kannst Angaben zu letzter Änderung, Priorität und Änderungshäufigkeit steuern ^[1]. Das ist praktisch für Websites ohne eigenes Redaktionssystem. Bei WordPress und anderen Systemen erzeugt meist schon das System oder ein Plugin die Sitemap. Wie du eine Sitemap aufbaust und einreichst, steht unter XML-Sitemap erstellen und einreichen.

Grenzen des Werkzeugs

Ein Crawler sieht nur, was er über Links oder eine Adressliste erreicht. Seiten ohne interne Links findet er im Spider-Modus nicht. Er zeigt auch nicht, wie Google eine Seite bewertet oder ob sie im Index steht; dafür ist die Search Console zuständig. Die Zahl der Treffer in einer Fehlerliste sagt zudem nichts über die Wichtigkeit: Ein fehlendes Alt-Attribut auf einer alten Archivseite wiegt weniger als eine Weiterleitungsschleife auf der Startseite.

Bei sehr großen Websites setzen Arbeitsspeicher und Festplatte des eigenen Rechners die Grenze ^[2]. Webbasierte SEO-Suiten mit eigener Website-Prüfung stellt Sistrix, Semrush, Ahrefs und Seobility im Vergleich vor.

1. Organisation Screaming Frog SEO Spider. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 29.10.2026
2. Organisation SEO Spider General. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 29.10.2026
3. Organisation SEO Spider Configuration. Screaming Frog Ltd. Stand ohne Datum. abgerufen am 29.10.2026
4. Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Search Central. Stand ohne Datum. abgerufen am 29.10.2026

Zuletzt geprüft am 29.10.2026, nächste Prüfung spätestens im Oktober 2027. Fehler entdeckt? Schreib uns.