KI-Crawler steuern: GPTBot, ClaudeBot und Google-Extended

In den Zugriffsprotokollen vieler Websites tauchen seit einiger Zeit neue Namen auf: GPTBot, ClaudeBot, PerplexityBot und weitere. Hinter jedem steckt ein anderer Zweck. Manche Crawler sammeln Material für das Training künftiger Sprachmodelle, andere bauen den Suchindex eines KI-Assistenten auf, wieder andere rufen eine Seite nur ab, weil ein Nutzer gerade eine Frage gestellt hat. Gesteuert wird das fast immer über die robots.txt. Wer dort pauschal alles sperrt, fehlt womöglich auch in den Antworten, in denen er gern als Quelle stehen würde.

Drei Arten von KI-Zugriffen

Die großen Anbieter trennen ihre Crawler nach Zweck. OpenAI beschreibt GPTBot als Crawler für Inhalte, die zum Training seiner generativen Basismodelle verwendet werden können. OAI-SearchBot sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen, und ChatGPT-User besucht Seiten, wenn Nutzer ChatGPT oder einem Custom GPT eine Frage stellen ^[1]. Anthropic unterscheidet genauso: ClaudeBot sammelt Webinhalte, die zum Training beitragen können, Claude-SearchBot soll die Qualität von Suchergebnissen verbessern, und Claude-User greift auf Websites zu, wenn Menschen Claude etwas fragen ^[2]. Perplexity nennt PerplexityBot für die eigenen Suchergebnisse und Perplexity-User für Abrufe, die ein Nutzer auslöst. Laut Perplexity sammelt keine der beiden Kennungen Inhalte für das Training von KI-Basismodellen ^[3].

Daraus ergeben sich drei Gruppen. Trainings-Crawler holen Inhalte auf Vorrat. Such-Crawler entscheiden mit, ob eine Seite als Quelle in einer KI-Antwort auftauchen kann. Abrufe auf Nutzerwunsch geschehen in dem Moment, in dem jemand fragt, und für sie gelten bei einigen Anbietern eigene Regeln, dazu weiter unten mehr.

Die wichtigsten Kennungen im Überblick

Die Tabelle fasst die Angaben der Anbieter zusammen. Für die robots.txt zählt jeweils der Name in der ersten Spalte, das sogenannte Produkt-Token. Die Liste ist nicht vollständig, vor einer Sperre lohnt deshalb der Blick in die aktuelle Dokumentation des jeweiligen Anbieters.

Training sperren, Suche erlauben

Jede Kennung lässt sich in der robots.txt einzeln ansprechen. OpenAI schreibt ausdrücklich, dass jede Einstellung unabhängig gilt: Eine Website kann OAI-SearchBot zulassen und GPTBot sperren ^[1]. Wer nicht möchte, dass seine Texte ins Training fließen, in ChatGPT-Antworten aber als Quelle erscheinen will, nutzt genau diese Kombination. Eine robots.txt dafür besteht aus mehreren Gruppen, je eine pro Kennung:

• "User-agent: GPTBot" und darunter "Disallow: /" für kein Training bei OpenAI
• "User-agent: ClaudeBot" und darunter "Disallow: /" für kein Training bei Anthropic
• "User-agent: Google-Extended" und darunter "Disallow: /" für kein Training künftiger Gemini-Modelle
• "User-agent: Applebot-Extended" und darunter "Disallow: /" für kein Training der Apple-Modelle
• "User-agent: CCBot" und darunter "Disallow: /" gegen den Abruf durch Common Crawl

OAI-SearchBot, Claude-SearchBot und PerplexityBot kommen in diesem Beispiel nicht vor und bleiben damit erlaubt, solange keine Gruppe für alle Crawler etwas anderes festlegt. Nach dem Standard RFC 9309 sucht ein Crawler die Gruppe, deren Name zu seinem Produkt-Token passt, ohne Rücksicht auf Groß- und Kleinschreibung ^[8]. Gibt es keine passende Gruppe, gilt die Gruppe mit dem Stern ^[8]. Wie die Datei grundsätzlich aufgebaut ist, erklärt robots.txt richtig schreiben.

Änderungen wirken nicht sofort. OpenAI nennt für die Suchergebnisse etwa 24 Stunden, bis die Systeme eine geänderte robots.txt berücksichtigen ^[1]. Perplexity schreibt, es könne bis zu 24 Stunden dauern ^[3]. RFC 9309 erlaubt Crawlern, die Datei zwischenzuspeichern ^[8]. Die gespeicherte Fassung sollen sie aber nicht länger als 24 Stunden nutzen, außer die Datei ist nicht erreichbar ^[8].

Google-Extended und Applebot-Extended

Google und Apple schicken keinen eigenen Trainings-Crawler los. Sie bieten stattdessen ein zusätzliches Token für die robots.txt an. Google-Extended hat nach Angabe von Google keinen eigenen User-Agent-String für HTTP-Anfragen. Gecrawlt wird mit den bekannten Google-Crawlern, und das Token legt nur fest, wofür die Inhalte verwendet werden dürfen ^[4]. Gemeint sind das Training künftiger Gemini-Modelle sowie die Fundierung von Antworten in den Gemini-Apps und in Vertex AI ^[4]. Auf die Google Suche hat Google-Extended laut Google keinen Einfluss: Es entscheidet weder über die Aufnahme einer Website, noch dient es als Rankingsignal ^[4].

Apple beschreibt Applebot-Extended ähnlich. Das Token crawlt selbst keine Webseiten. Wer es sperrt, nimmt seine Inhalte aus dem Training der allgemeinen Apple-Basismodelle heraus, auch der Modelle hinter Apple Intelligence. In den Suchergebnissen von Spotlight, Siri und Safari können die Seiten weiterhin erscheinen ^[5].

Was die robots.txt bei Google und Bing nicht regelt

Für die KI-Übersichten in der Google Suche gibt es kein eigenes Token. Google verweist dafür auf die Vorschau-Einstellungen nosnippet, data-nosnippet, max-snippet und noindex ^[9]. Diese Angaben wirken auf die normalen Suchergebnisse genauso. Ein Text, der kein Snippet haben darf, kann auch in den KI-Übersichten nicht als Quelle erscheinen, denn dafür muss eine Seite indexiert und für die Anzeige mit einem Snippet geeignet sein ^[9]. Mehr dazu steht unter Google AI Overviews und KI-Modus.

Bei Microsoft läuft der Weg über Bing. Nach der Zusammenfassung von Search Engine Journal hält die Angabe noarchive Inhalte seit der Neufassung der Bing-Richtlinien im Februar 2026 aus Copilot-Antworten und Grounding-Ergebnissen heraus ^[10]. Die Angabe nocache beschränkt Copilot auf Adresse, Titel und Snippet ^[10]. Die Einzelheiten erklärt SEO für Bing und Copilot.

Abrufe auf Nutzerwunsch und Crawler ohne Rücksicht

Bei Abrufen, die ein Nutzer auslöst, beachten manche Anbieter die robots.txt nicht immer. OpenAI schreibt zu ChatGPT-User, weil diese Aktionen von Nutzern ausgehen, gälten die robots.txt-Regeln möglicherweise nicht ^[1]. Perplexity-User ignoriert die Regeln laut Perplexity in der Regel, weil ein Nutzer den Abruf angefordert hat ^[3]. Meta schreibt über Meta-ExternalFetcher, der einzelne Links auf Wunsch eines Nutzers abruft, er könne die robots.txt umgehen ^[7]. Anthropic beschreibt für Claude-User dagegen die Sperre per robots.txt: Wer Claude-User sperrt, verhindert, dass das System Inhalte als Antwort auf eine Nutzerfrage abruft ^[2].

Grundsätzlich ist die robots.txt eine Bitte. RFC 9309 hält fest, dass ihre Regeln keine Form der Zugangsberechtigung sind ^[8]. Wie das in der Praxis aussehen kann, zeigt ein Streit aus dem August 2025. Cloudflare warf Perplexity am 04.08.2025 vor, nach einer Sperre zusätzlich einen nicht angemeldeten Crawler einzusetzen, der sich als Chrome-Browser unter macOS ausgibt und IP-Adressen außerhalb der veröffentlichten Bereiche nutzt ^[11]. Cloudflare strich Perplexity daraufhin aus seiner Liste geprüfter Bots ^[11]. Perplexity wies die Vorwürfe zurück. Ein Sprecher nannte den Beitrag laut CyberScoop einen "sales pitch" und sagte, der genannte Bot gehöre nicht zu Perplexity ^[12]. Cloudflare nannte im selben Beitrag OpenAI als Gegenbeispiel: In den Tests stellte ChatGPT-User den Abruf ein, wenn er gesperrt war, und wich nicht auf andere Kennungen aus ^[11].

Wer wirklich sperren muss, braucht deshalb zusätzlich Regeln auf dem Server oder in einer Firewall. Die Anbieter veröffentlichen ihre IP-Bereiche als JSON-Dateien, OpenAI etwa für GPTBot, OAI-SearchBot und ChatGPT-User, Perplexity für seine beiden Kennungen ^{[1, 3]}. Common Crawl warnt, dass sich andere Crawler fälschlich als CCBot ausgeben, und beschreibt die Prüfung über eine Rückwärtsauflösung der IP-Adresse ^[6]. Anthropic rät dagegen davon ab, seine IP-Adressen zu blockieren: Der Crawler könne dann die robots.txt nicht mehr lesen, und die Abmeldung wirke nicht dauerhaft sicher ^[2]. Wie Regeln auf einem Apache-Server aussehen, zeigt Die .htaccess-Datei: Weiterleitungen und Regeln.

Der rechtliche Rahmen in Deutschland

Für das maschinelle Auswerten von Webinhalten hat das deutsche Urheberrecht eine eigene Vorschrift, § 44b UrhG zum Text und Data Mining ^[14]. Das Gesetz versteht darunter die automatisierte Analyse von einzelnen oder mehreren digitalen oder digitalisierten Werken. Zulässig sind Vervielfältigungen rechtmäßig zugänglicher Werke für diesen Zweck ^[14]. Das gilt nur, wenn sich der Rechteinhaber diese Nutzung nicht vorbehalten hat. Bei Werken, die online zugänglich sind, ist ein solcher Vorbehalt nur wirksam, wenn er in maschinenlesbarer Form erfolgt ^[14]. Welche Form das genau sein muss, nennt der Gesetzestext nicht. Mehr zu Urheberrecht und KI steht bei content-marketing unter KI-Texte und Recht: Urheberrecht, Kennzeichnung, Haftung.

Sperren oder zulassen?

Die Entscheidung hängt davon ab, was du von KI-Assistenten erwartest. Wer Besucher über ChatGPT gewinnen möchte, darf OAI-SearchBot nicht aussperren: Seiten, die sich von OAI-SearchBot abmelden, erscheinen laut OpenAI nicht in den Suchantworten von ChatGPT ^[1]. Perplexity empfiehlt, PerplexityBot in der robots.txt zuzulassen ^[3]. Anthropic schreibt, wer Claude-SearchBot sperrt, verhindert, dass Inhalte für die Suche indexiert werden ^[2].

Eine Sperre der Trainings-Crawler wirkt nach vorn. Anthropic beschreibt die Wirkung einer Sperre für ClaudeBot ausdrücklich für die künftigen Inhalte einer Website ^[2]. Ein möglicher Mittelweg ist, die Trainings-Kennungen zu sperren und die Such- und Abrufkennungen zuzulassen. Dabei hilft zu wissen, dass OpenAI die Ergebnisse eines Abrufs für beide Zwecke verwenden kann, wenn beide Crawler erlaubt sind ^[1]. Wie du in den Antworten der Assistenten vorkommst, steht unter Sichtbar in ChatGPT, Perplexity und anderen KI-Assistenten.

Prüfen, ob die Regeln wirken

Ob ein Crawler deine Seiten besucht, steht in den Zugriffsprotokollen des Webservers. Dort erscheint die vollständige Kennung, bei GPTBot etwa mit dem Zusatz "+https://openai.com/gptbot" ^[1]. Weil jeder diese Kennung vortäuschen kann, gleichst du die IP-Adresse mit der veröffentlichten Liste des Anbieters ab ^{[1, 3, 6]}. Danach lohnt ein Blick in die robots.txt selbst: Ist sie unter /robots.txt erreichbar, steht jede Gruppe sauber für sich, und widerspricht keine Stern-Gruppe deinen Absichten? Ob Googlebot deine Seiten abrufen darf, prüfst du wie bisher in der Google Search Console. Google-Extended ändert am Crawling nichts, weil es keinen eigenen Crawler hat ^[4].

1. Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 29.10.2026
2. Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic. Stand 07.04.2026. abgerufen am 29.10.2026
3. Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 29.10.2026
4. Organisation Übersicht über die gängigen Crawler von Google: Google-Extended. Google Search Central. Stand 20.10.2026. abgerufen am 29.10.2026
5. Organisation About Applebot. Apple. Stand 04.09.2026. abgerufen am 29.10.2026
6. Organisation CCBot. Common Crawl. Stand ohne Datum. abgerufen am 29.10.2026
7. Organisation Meta Web Crawlers. Meta for Developers. Stand ohne Datum. abgerufen am 29.10.2026
8. Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand September 2022. abgerufen am 29.10.2026
9. Organisation KI-Funktionen und deine Website. Google Search Central. Stand 31.12.2025. abgerufen am 29.10.2026
10. Bing Adds GEO To Official Guidelines, Expands AI Abuse Definitions. Search Engine Journal, Matt G. Southern. Stand 27.02.2026. abgerufen am 29.10.2026
11. Organisation Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives. Cloudflare Blog, Reid Tatoris. Stand 04.08.2025. abgerufen am 29.10.2026
12. Perplexity accused of evading blocks on crawlers (Tim Starks). CyberScoop. Stand 04.08.2025. abgerufen am 29.10.2026
13. Organisation Content Independence Day: no AI crawl without compensation!. Cloudflare Blog, Matthew Prince. Stand 01.07.2025. abgerufen am 29.10.2026
14. Gesetz § 44b Urheberrechtsgesetz: Text und Data Mining. Bundesministerium der Justiz. Stand aktuelle Fassung. abgerufen am 29.10.2026

Zuletzt geprüft am 29.10.2026, nächste Prüfung spätestens im Oktober 2027. Fehler entdeckt? Schreib uns.