robots.txt richtig schreiben

Die robots.txt ist eine einfache Textdatei, in der du festlegst, welche Adressen deiner Website Crawler abrufen dürfen. Google nennt als Hauptzweck, die Website vor einer Überlastung durch zu viele Anfragen zu schützen ^[1]. Seit September 2022 ist das Format als RFC 9309 "Robots Exclusion Protocol" beschrieben; drei der vier Autoren arbeiten bei Google ^[4]. Eine falsche Zeile kann ganze Verzeichnisse vom Crawling ausschließen.

Wofür die robots.txt gedacht ist

Die Datei steuert den Abruf von Adressen. Für den Ausschluss aus der Suche ist sie laut Google nicht gedacht: "Sinn und Zweck von robots.txt-Dateien ist es nicht, Webseiten aus der Google Suche auszuschließen" ^[1]. Eine gesperrte Seite kann weiterhin indexiert werden, wenn andere Websites auf sie verweisen. Sie erscheint dann in den Ergebnissen ohne Beschreibung, weil Google ihren Inhalt nicht kennt ^[1]. Wer eine Seite aus der Suche heraushalten will, nutzt laut Google noindex, einen Passwortschutz oder entfernt die Seite ganz ^[1].

Für Bild-, Video- und Audiodateien sieht das anders aus. Mit der robots.txt kannst du verhindern, dass solche Dateien in den Google-Suchergebnissen erscheinen; andere Seiten können aber weiter auf sie verlinken ^[1]. Ressourcen wie unwichtige Bilder, Skripte oder Stildateien darfst du sperren, wenn Google die Seite ohne sie noch gut versteht. Braucht Google eine Ressource, um die Seite zu verstehen, soll sie erreichbar bleiben ^[1].

Die Datei ist kein Zugriffsschutz. RFC 9309 hält fest, dass die Regeln keine Form der Zugriffsberechtigung sind ^[4]. Googlebot und andere seriöse Crawler halten sich an die Datei, andere Crawler womöglich nicht, und nicht jeder Crawler legt die Syntax gleich aus ^[1]. Vertrauliche Bereiche gehören deshalb hinter ein Passwort.

Wo die Datei liegen muss

Die Datei heißt robots.txt, liegt im Stammverzeichnis des Hosts, und jede Website hat genau eine davon ^[3]. In Unterverzeichnissen sucht Google nicht ^[2]. Die Regeln gelten nur für das Protokoll, den Host und den Port, unter dem die Datei liegt. Die Datei unter https://example.com/robots.txt gilt also nicht für https://other.example.com/, nicht für http://example.com/ und nicht für https://example.com:8181/ ^[2]. Jede Subdomain braucht deshalb eine eigene Datei ^[3]. Was eine Subdomain technisch ist, erklärt domain-root.de unter Was ist eine Subdomain?.

Schreib die Datei mit einem einfachen Texteditor und speichere sie als UTF-8; ein Textverarbeitungsprogramm ist laut Google ungeeignet ^[3]. Zeilen trennt Google an CR, CR/LF oder LF. Ungültige Zeilen ignoriert Google, auch ein Byte Order Mark am Anfang der Datei ^[2]. Die Größe ist begrenzt: Google wertet höchstens 500 KiB aus und ignoriert alles darüber ^[2]. RFC 9309 verlangt von Crawlern eine Grenze von mindestens 500 Kibibyte ^[4].

Aufbau: Gruppen und Regeln

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen user-agent, darauf folgen die Regeln disallow und allow ^[3]. Google unterstützt die Felder user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay unterstützt Google nicht ^[2]. Pfade beginnen mit einem Schrägstrich, und Groß- und Kleinschreibung zählt: /Intern/ und /intern/ sind zwei verschiedene Pfade ^[2]. Ein Stern steht für beliebig viele Zeichen, ein Dollarzeichen für das Ende der Adresse ^[2]. Kommentare beginnen mit #, Regeln ohne Pfad ignoriert Google ^[2]. Die Sitemap gibst du als vollständige Adresse an. Sie darf mehrfach vorkommen und gehört zu keiner Gruppe ^[2]. Den Stern unterstützt Google dort nicht ^[3].

Ein Beispiel mit der Bedeutung jeder Zeile nach den Regeln von Google ^[2]:

Eine Zeile Disallow: / sperrt alle Pfade, denn jeder Pfad beginnt mit einem Schrägstrich ^[2]. Eine leere Zeile Disallow: ohne Pfad sperrt dagegen nichts, weil Google Regeln ohne Pfad ignoriert ^[2].

Welche Regel Google anwendet

Ein Crawler folgt nur der einen Gruppe, deren user-agent am genauesten zu ihm passt. Die Reihenfolge der Gruppen in der Datei spielt keine Rolle ^[2]. Gibt es mehrere Gruppen für denselben Crawler, führt Google ihre Regeln zusammen. Eine Gruppe für einen bestimmten Crawler und die Gruppe * kombiniert Google aber nicht ^[2]. Das hat Folgen: Legst du eine eigene Gruppe für Googlebot an, gelten für Googlebot nur noch deren Regeln, und alles aus der Gruppe * musst du dort wiederholen. Für AdsBot gilt eine Besonderheit, er muss laut Google ausdrücklich genannt werden, wenn eine Regel für ihn gelten soll ^[3].

Innerhalb einer Gruppe entscheidet die Länge des Pfads. Die Regel mit dem längsten passenden Pfad gewinnt; sind zwei Regeln gleich lang und widersprechen sich, wendet Google die weniger einschränkende an ^[2]. RFC 9309 beschreibt das genauso: Die genaueste Regel ist die mit den meisten Zeichen, und bei gleichwertigen Regeln hat allow Vorrang ^[4]. Im Beispiel oben darf Google deshalb /intern/presse/mitteilung.html abrufen, obwohl /intern/ gesperrt ist.

Wenn die Datei fehlt oder der Server Fehler meldet

Wie Google mit der robots.txt umgeht, hängt vom HTTP-Statuscode ab, den der Server beim Abruf der Datei liefert ^[2]:

Ist die Website nach diesen 30 Tagen erreichbar, verhält sich Google so, als gäbe es keine robots.txt; ist sie nicht erreichbar, stellt Google das Crawling ein ^[2]. Die Codes 401 und 403 sollst du laut Google nicht nutzen, um die Crawling-Frequenz zu begrenzen ^[2]. Den Inhalt der Datei speichert Google normalerweise bis zu 24 Stunden; die Angabe max-age im Header Cache-Control kann diese Zeit verlängern oder verkürzen ^[2]. Eine Änderung wirkt also nicht sofort. Was die einzelnen Statuscodes bedeuten, steht auf domain-root.de unter HTTP-Statuscodes von 200 bis 503.

Gesperrt heißt nicht aus dem Index

Für den Ausschluss aus dem Index ist noindex gedacht, als Meta-Tag im Kopf der Seite oder als HTTP-Header X-Robots-Tag ^[6]. Eine noindex-Angabe in der robots.txt unterstützt Google nicht ^[6]. Die Seite darf dabei nicht per robots.txt gesperrt sein, sonst sieht der Crawler die noindex-Regel nie, und die Seite kann trotzdem in den Ergebnissen erscheinen, etwa wenn andere Seiten auf sie verlinken ^[6]. In der Search Console taucht so ein Fall als "Indexiert, obwohl durch robots.txt-Datei blockiert" auf ^[8]. Welche weiteren Meldungen es gibt, erklärt Seite wird nicht indexiert: Ursachen finden.

Auch für doppelte Inhalte ist die Sperre das falsche Mittel. Dafür gibt es den Canonical-Tag.

KI-Crawler in der robots.txt

Auch Crawler von KI-Anbietern lesen die robots.txt. Google hat dafür das Token Google-Extended eingeführt. Es hat keinen eigenen User-Agent-String für HTTP-Anfragen; das Crawling läuft über die bestehenden Google-Crawler, und das Token in der robots.txt steuert die Nutzung ^[7]. Damit legst du fest, ob Inhalte deiner Website für das Training künftiger Gemini-Modelle und für die Fundierung in Gemini-Apps und Vertex AI verwendet werden dürfen ^[7]. Auf die Google Suche wirkt das Token laut Google nicht: Es beeinflusst weder die Aufnahme in die Suche, noch ist es ein Ranking-Signal ^[7]. Die Crawler anderer Anbieter und ihre Namen behandelt der Ratgeber KI-Crawler steuern: GPTBot, ClaudeBot und Google-Extended.

Datei testen und Änderungen anstoßen

Nach dem Hochladen rufst du die Datei am besten in einem privaten Browserfenster unter ihrer Adresse auf ^[3]. Danach prüfst du sie in der Search Console. Der robots.txt-Bericht zeigt, welche Dateien Google für die 20 wichtigsten Hosts deiner Website gefunden hat, mit Abrufstatus, Prüfzeitpunkt, Größe und Anzahl der Probleme ^[5]. Fehler verhindern, dass eine Regel angewendet wird, Warnungen nicht ^[5]. Den Bericht gibt es nur für Properties auf Domainebene ^[5]. Ob eine einzelne Adresse gesperrt ist, zeigt das URL-Prüftool ^[5]. Wer lokal testen will, kann die quelloffene robots.txt-Bibliothek nutzen, die Google auch in der Suche einsetzt ^[3]. Die Einrichtung der Search Console beschreibt Google Search Console einrichten und nutzen.

Einreichen musst du die Datei nicht, Google findet sie selbst ^[3]. Hast du einen Abruffehler behoben oder eine wichtige Regel geändert, kannst du im robots.txt-Bericht ein erneutes Crawlen beantragen. Google empfiehlt das vor allem für Notfälle und sagt kein schnelles Neucrawlen freigegebener Adressen zu ^[5].

1. Organisation Einführung zu robots.txt-Dateien. Google Search Central. Stand 18.12.2025. abgerufen am 29.10.2026
2. Organisation Wie Google die robots.txt-Spezifikation interpretiert. Google for Developers. Stand 27.10.2026. abgerufen am 29.10.2026
3. Organisation Anleitung zum Schreiben und Einreichen einer robots.txt-Datei. Google for Developers. Stand 26.11.2025. abgerufen am 29.10.2026
4. Gesetz RFC 9309: Robots Exclusion Protocol (M. Koster, G. Illyes, H. Zeller, L. Sassman). IETF / RFC Editor. Stand 09.2022. abgerufen am 29.10.2026
5. Organisation robots.txt-Bericht. Search Console-Hilfe, Google. Stand ohne Datum. abgerufen am 29.10.2026
6. Organisation Aufnahme in den Suchindex mithilfe von noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 29.10.2026
7. Organisation Liste der gewöhnlichen Crawler von Google. Google for Developers. Stand 20.10.2026. abgerufen am 29.10.2026
8. Organisation Bericht zur Seitenindexierung. Search Console-Hilfe, Google. Stand ohne Datum. abgerufen am 29.10.2026

Zuletzt geprüft am 29.10.2026, nächste Prüfung spätestens im Oktober 2027. Fehler entdeckt? Schreib uns.