llms.txt: Nutzen und Grenzen

Neben robots.txt und Sitemap taucht auf immer mehr Websites eine dritte Datei auf: die llms.txt. Sie soll Sprachmodellen helfen, eine Website schnell zu verstehen, ohne jede Seite einzeln lesen zu müssen. Um die Datei ranken sich viele Erwartungen, von besserer Sichtbarkeit in ChatGPT bis zur Steuerung von KI-Crawlern.

Was die llms.txt ist

Die llms.txt geht auf einen Vorschlag von Jeremy Howard zurück, veröffentlicht am 03.09.2024 auf llmstxt.org ^[1]. Die zweite Fassung des Vorschlags wurde am 10.08.2026 geändert ^[1]. Der Kern: Websites legen eine Markdown-Datei unter /llms.txt ab, die Sprachmodellen gut lesbare Inhalte bereitstellt ^[1]. Die Begründung steht gleich am Anfang. Kontextfenster seien zwar größer geworden, aber für die meisten Websites als Ganzes noch zu klein, und HTML-Seiten in sauberen Text zurückzuverwandeln sei schwierig und ungenau ^[1].

Gedacht ist die Datei für den Moment, in dem ein KI-Werkzeug Informationen braucht, etwa weil ein Nutzer gerade eine Frage zu einer Software stellt. Der Vorschlag beschreibt diese Nutzung bei Bedarf ausdrücklich ^[1]. Die llms.txt ist damit ein Inhaltsverzeichnis für Maschinen. Sie bleibt ein Vorschlag: Auf llmstxt.org heißt es, man schlage vor, die Datei zu standardisieren ^[1].

Aufbau der Datei

Die Datei ist reines Markdown, also Text mit wenigen Zeichen für Überschriften, Zitate und Links, den Menschen und Programme gleichermaßen lesen können. Sie folgt einer festen Reihenfolge. Nur die erste Überschrift ist Pflicht, alles andere ist freiwillig ^[1].

Die Datei muss nicht im Wurzelverzeichnis liegen. Nach der zweiten Fassung darf sie auch in einem Unterpfad stehen und gilt dann für die Seiten darunter. Gibt es mehrere passende Dateien, soll ein Werkzeug die speziellste nehmen ^[1]. Außerdem schlägt der Vorschlag vor, von jeder Seite eine saubere Markdown-Fassung unter derselben Adresse anzubieten, entweder mit angehängtem ".md" oder mit ".md" statt der bisherigen Endung ^[1]. Auffinden lassen sich solche Fassungen über Verweise im HTML oder im HTTP-Kopf mit dem Typ text/markdown ^[1].

Das Beispiel aus dem Vorschlag

Wie eine fertige Datei aussieht, zeigt llmstxt.org am Beispiel der Python-Bibliothek FastHTML ^[1]. Die Datei beginnt mit dem Namen als Überschrift. Im Zitatblock folgt ein Satz dazu, was die Bibliothek ist. Danach kommen wichtige Hinweise als einfache Aufzählung, etwa mit welchen anderen Werkzeugen die Bibliothek zusammenarbeitet und mit welchen nicht ^[1]. Erst dann folgen die Abschnitte "Docs" und "Examples" mit Links, die zum Teil auf Markdown-Fassungen der Dokumentationsseiten zeigen ^[1]. Ein Programmierassistent soll so nach wenigen Zeilen wissen, was er beachten muss, bevor er Code schreibt.

Für eine Website mit Ratgebertexten lässt sich das übertragen. Im freien Teil stehen dann Thema, Stand und Betreiber, in den Linklisten die Übersichtsseiten der Bereiche und die wichtigsten Artikel. Seiten wie Impressum, Schlagwortlisten oder Archive bringen einem KI-Werkzeug wenig. Sie gehören höchstens in den Abschnitt "Optional".

Unterschied zu robots.txt und Sitemap

Die drei Dateien haben verschiedene Aufgaben. Die robots.txt sagt automatischen Werkzeugen, welcher Zugriff auf eine Website als zulässig gilt. Die llms.txt wird dagegen bei Bedarf gelesen, wenn ein Werkzeug Informationen zu einem Thema braucht ^[1]. Die Sitemap listet alle indexierbaren Seiten für Menschen auf. Laut Vorschlag ersetzt sie die llms.txt nicht, weil sie oft keine für Sprachmodelle lesbaren Fassungen enthält, keine externen Links aufnimmt und meist mehr Inhalt umfasst, als in ein Kontextfenster passt ^[1].

Für die Praxis heißt das: Mit der llms.txt sperrst du keinen Crawler und erlaubst auch keinen. Wer das Training durch KI-Anbieter regeln will, braucht weiterhin die robots.txt mit eigenen Gruppen für GPTBot, ClaudeBot oder Google-Extended. Die Einzelheiten stehen unter KI-Crawler steuern und robots.txt richtig schreiben. RFC 9309, der Standard für die robots.txt, betont selbst, dass auch deren Regeln keine Zugangsberechtigung sind ^[2].

Wer die Datei liest

Hier liegt die größte Unsicherheit. Laut llmstxt.org veröffentlichen OpenAI, Anthropic und Gemini für ihre eigenen Entwicklerdokumentationen eine llms.txt ^[1]. Anthropic etwa bietet unter platform.claude.com/llms.txt eine Übersicht seiner Dokumentation mit mehreren hundert Links an und verweist am Ende auf eine ausführlichere Datei llms-full.txt ^[3]. Dass die Anbieter selbst solche Dateien bereitstellen, sagt aber noch nichts darüber, ob ihre Suchsysteme die llms.txt fremder Websites auswerten. Der Vorschlag nennt keine Anbieter, die das tun ^[1]. Wie verbreitet die Datei ist, lässt sich in Verzeichnissen wie llmstxt.site, directory.llmstxt.cloud und llmstxthub.com nachsehen, auf die llmstxt.org verweist ^[1].

Google hat sich für die eigene Suche festgelegt. In der Dokumentation zu den KI-Funktionen schreibt Google, es gebe keine zusätzlichen Anforderungen, um in den KI-Übersichten oder im KI-Modus zu erscheinen. Neue maschinenlesbare Dateien oder KI-Textdateien müsse man dafür nicht erstellen ^[4]. Die Anleitung von Google zur Optimierung für generative KI-Funktionen vom 15.07.2026 schreibt ebenfalls, dass man keine neuen maschinenlesbaren Dateien, KI-Textdateien, Markup oder Markdown erstellen muss ^[8]. Die Crawler-Dokumentationen von OpenAI, Anthropic und Perplexity beschreiben die Steuerung über die robots.txt und die jeweiligen Kennungen ^{[5, 6, 7]}. Wer seine Sichtbarkeit in diesen Assistenten verbessern will, setzt deshalb zuerst dort an. Mehr dazu unter Sichtbar in ChatGPT, Perplexity und anderen KI-Assistenten.

Ein Beispiel aus diesem Projekt

Alle Websites unter domain-root.de haben eine eigene llms.txt, auch diese hier unter seo.domain-root.de/llms.txt. Der Aufbau folgt dem Vorschlag. Oben steht als Überschrift der Name der Website, darunter im Zitatblock eine Zusammenfassung: wozu die Website gehört, wer sie betreibt, dass die Bilder KI-generiert und gekennzeichnet sind und wie sie sich finanziert. Es folgen ein Stand, die Sprache und ein Satz dazu, unter welchen Bedingungen die Texte zitiert werden dürfen.

Danach kommen Abschnitte mit Überschriften zweiter Ebene: Angaben zum Betreiber mit Kontaktweg, eine Liste der Seiten mit kurzer Beschreibung, die Redaktion mit Profilen, verwandte Seiten des Verbunds und die Bereiche. So findet ein KI-Werkzeug auf wenigen Zeilen, wer hinter den Inhalten steht und wo es weiterlesen kann. Wer so eine Datei pflegt, muss sie bei neuen oder gelöschten Seiten mit anpassen.

Nutzen und Grenzen

Sinnvoll ist die llms.txt vor allem dort, wo Menschen KI-Werkzeuge gezielt auf eine Website ansetzen. Das betrifft Dokumentationen von Software und Schnittstellen, die Entwickler in Programmierassistenten laden. Für diesen Fall wurde der Vorschlag gemacht, sein Beispiel ist die Datei einer Python-Bibliothek ^[1]. Auch bei umfangreichen Wissensseiten kann eine geordnete Übersicht helfen, weil sie die wichtigsten Seiten in eine Reihenfolge bringt, die eine Sitemap nicht hat.

Die Grenzen sind genauso klar. Die Datei steuert keinen Zugriff, sie verspricht keine Platzierung, und ob sie gelesen wird, hängt vom einzelnen Werkzeug ab. Dazu kommt der Pflegeaufwand, denn eine llms.txt mit veralteten Links schickt Werkzeuge auf Seiten, die es nicht mehr gibt. Bei einer kleinen Website mit wenigen Seiten, die ein Werkzeug auch einzeln lesen kann, fällt der Vorteil kleiner aus. Und die Datei ist öffentlich wie jede andere Seite: Was darin steht, kann jeder lesen, auch Mitbewerber. Interne Adressen, Testumgebungen oder Hinweise, die nur für Mitarbeiter gedacht sind, gehören deshalb nicht hinein. Wer dort Zeit investieren will, steckt sie besser in klare Texte mit Belegen, die Google und Microsoft für KI-Antworten nennen, siehe Suchmaschinenoptimierung.

llms.txt anlegen in fünf Schritten

Wer eine llms.txt anlegen will, kommt mit einem einfachen Texteditor aus. Viele Systeme für Websites bieten inzwischen eigene Erweiterungen dafür an, llmstxt.org nennt Plugins für verschiedene CMS und Frameworks ^[1].

1. Eine Textdatei mit dem Namen llms.txt anlegen und als erste Zeile den Namen der Website als Überschrift mit # schreiben ^[1].
2. Darunter mit > eine Zusammenfassung in zwei oder drei Sätzen ergänzen: Thema, Zielgruppe, Betreiber.
3. Abschnitte mit ## anlegen, etwa für Grundlagen, Anleitungen und Kontakt, und darin die wichtigsten Seiten als Links mit kurzer Notiz aufführen ^[1].
4. Weniger wichtige Seiten in einen Abschnitt "Optional" verschieben ^[1].
5. Die Datei ins Wurzelverzeichnis hochladen, unter deinedomain.de/llms.txt aufrufen und bei jeder größeren Änderung der Website mit anpassen.

1. Organisation The /llms.txt file (Jeremy Howard), Version 2. llmstxt.org. Stand 10.08.2026. abgerufen am 29.10.2026
2. Gesetz RFC 9309: Robots Exclusion Protocol. IETF. Stand September 2022. abgerufen am 29.10.2026
3. Organisation Anthropic Developer Documentation, llms.txt. Anthropic. Stand ohne Datum. abgerufen am 29.10.2026
4. Organisation KI-Funktionen und deine Website. Google Search Central. Stand 31.12.2025. abgerufen am 29.10.2026
5. Organisation Overview of OpenAI Crawlers. OpenAI. Stand ohne Datum. abgerufen am 29.10.2026
6. Organisation Does Anthropic crawl data from the web, and how can site owners block the crawler?. Anthropic. Stand 07.04.2026. abgerufen am 29.10.2026
7. Organisation Perplexity Crawlers. Perplexity. Stand ohne Datum. abgerufen am 29.10.2026
8. Organisation Optimizing your website for generative AI features on Google Search. Google Search Central. Stand 15.07.2026. abgerufen am 29.10.2026

Zuletzt geprüft am 29.10.2026, nächste Prüfung spätestens im Oktober 2027. Fehler entdeckt? Schreib uns.