Crawler: wie Suchmaschinen Webseiten abrufen

Ein Crawler ist ein Programm, das Webseiten automatisch abruft und über Links neue Seiten findet. Der Crawler von Google heißt Googlebot. Welche Adressen ein Crawler abrufen darf, legst du in der robots.txt fest; Googlebot und andere seriöse Crawler halten sich daran.

Wanderin in den Vierzigern folgt einem Waldweg, der mit kleinen Steinmännchen markiert ist, im Morgennebel zwischen Kiefern
Bild: KI-generiert

Ein Crawler, oft auch Bot genannt, ist ein Programm, das Webseiten automatisch abruft. Suchmaschinen brauchen ihn, weil es kein zentrales Verzeichnis aller Webseiten gibt. Google sucht deshalb laufend nach neuen und geänderten Seiten und nimmt sie in seine Liste bekannter Seiten auf [1]. Was der Crawler abgerufen hat, kann danach in den Index kommen und in der SERP erscheinen.

So arbeitet der Googlebot

Der Crawler von Google heißt Googlebot. Neue Adressen findet er vor allem über Links von bereits bekannten Seiten und über eingereichte Sitemaps [1]. Beim Abruf stellt Google die Seite mit einer aktuellen Chrome-Version dar und führt dabei JavaScript aus, ähnlich wie ein Browser [1]. Crawling ist die erste von drei Phasen, danach folgen Indexierung und Bereitstellung der Ergebnisse, und nicht jede Seite durchläuft alle drei [1]. Typische Hindernisse beim Crawling sind Probleme mit dem Server oder dem Netzwerk und Regeln in der robots.txt, die den Zugriff sperren [1]. Wie es nach dem Abruf weitergeht, erklärt Seite wird nicht indexiert: Ursachen finden.

Crawler steuern mit der robots.txt

In der robots.txt legst du fest, welche Adressen Crawler abrufen dürfen. Google nennt als Hauptzweck, die Website vor einer Überlastung durch zu viele Anfragen zu schützen [2]. Googlebot und andere seriöse Crawler halten sich an die Datei, andere womöglich nicht [2]. RFC 9309 hält fest, dass die Regeln keine Form der Zugriffsberechtigung sind [3]. Eine gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verweisen [2]. Wer sie aus der Suche heraushalten will, setzt noindex. Damit Google diese Angabe sieht, darf die Seite nicht per robots.txt gesperrt sein [4]. Aufbau und Regeln der Datei stehen unter robots.txt richtig schreiben.

Crawler von KI-Anbietern

Auch KI-Anbieter schicken Crawler los und trennen sie meist nach Zweck. OpenAI beschreibt GPTBot als Crawler für Inhalte, die zum Training seiner generativen Basismodelle verwendet werden können. OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen [5]. Jede Kennung lässt sich in der robots.txt einzeln ansprechen, und laut OpenAI gilt jede Einstellung unabhängig von der anderen [5]. Google-Extended ist dagegen kein eigener Crawler. Das Token legt fest, ob Inhalte für das Training künftiger Gemini-Modelle und für die Fundierung von Antworten genutzt werden dürfen, und hat laut Google keinen Einfluss auf die Google Suche [6]. Eine Übersicht der Kennungen gibt KI-Crawler steuern: GPTBot, ClaudeBot und Google-Extended.

Echte Crawler erkennen

Den Namen eines Crawlers kann jeder in seine Anfragen schreiben. Google beschreibt deshalb, wie du prüfst, ob ein Zugriff wirklich von Google stammt [7]. Für Einzelfälle reicht ein umgekehrter DNS-Abruf der IP-Adresse aus den Serverprotokollen. Der gefundene Name muss zu Google gehören, etwa auf googlebot.com oder google.com enden, und ein Abruf dieses Namens muss wieder dieselbe IP-Adresse liefern [7]. Für größere Mengen veröffentlicht Google Listen seiner IP-Bereiche [7]. Wie die Rückwärtsauflösung funktioniert, erklärt domain-root.de unter Reverse-DNS.

  1. Organisation Umfassender Leitfaden zur Funktionsweise der Google Suche. Google Search Central. Stand 18.12.2025. abgerufen am 29.10.2026
  2. Organisation Einführung zu robots.txt-Dateien. Google Search Central. Stand 18.12.2025. abgerufen am 29.10.2026
  3. Gesetz RFC 9309: Robots Exclusion Protocol (M. Koster, G. Illyes, H. Zeller, L. Sassman). IETF / RFC Editor. Stand 09.2022. abgerufen am 29.10.2026
  4. Organisation Aufnahme in den Suchindex mithilfe von noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 29.10.2026
  5. Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 29.10.2026
  6. Organisation Liste der gewöhnlichen Crawler von Google. Google Search Central. Stand 20.10.2026. abgerufen am 29.10.2026
  7. Organisation Anfragen von Google-Crawlern und -Fetchern überprüfen. Google Search Central. Stand 25.03.2026. abgerufen am 29.10.2026

Zuletzt geprüft am 29.10.2026, nächste Prüfung spätestens im Oktober 2027. Fehler entdeckt? Schreib uns.

Weitere Artikel