llms.txt erklärt: Die robots.txt der Maschinen-Ära
1994 bekam das Web die robots.txt – eine simple Textdatei, die Suchmaschinen-Crawlern sagt, wo sie hindürfen. Drei Jahrzehnte später gibt es einen Vorschlag für Sprachmodelle: die llms.txt, ein Wegweiser zu den wichtigsten Inhalten einer Website. Das CMF erzeugt sie automatisch. Was steckt dahinter?
Das Problem: Maschinen lesen HTML nur widerwillig
Sprachmodelle verarbeiten am liebsten klaren, strukturierten Text. Moderne Websites liefern aber verschachteltes HTML voller Navigation, Skripte und Layout-Reste. Wer daraus den eigentlichen Inhalt herausschälen muss, verliert leicht etwas unterwegs.
Hier setzt der Vorschlag von llmstxt.org an: eine Markdown-Datei im Hauptverzeichnis. Sie beschreibt in einem kurzen Kopf, worum es auf der Website geht, und listet dann die wichtigen Inhalte mit Links – idealerweise auf Markdown-Fassungen der Seiten. Ein verbindlicher Standard wie die robots.txt ist das nicht, sondern eine Empfehlung, die sich erst durchsetzen muss.
So setzt das CMF den Vorschlag um
Im CMF musst du dafür nichts tun. Das System schreibt die llms.txt bei jeder Änderung an Seiten oder Beiträgen neu – mit allen veröffentlichten Seiten und News-Beiträgen samt Beschreibungen; Seiten mit noindex bleiben draußen. Und weil jede CMF-Seite ohnehin als Markdown erreichbar ist (einfach .md an die URL anhängen), verweisen die Einträge direkt auf diese Fassung.
Das Ergebnis kannst du dir auf dieser Website ansehen: cmf.brosemedien.de/llms.txt. Ein Sprachmodell oder Agent, der die Datei abruft, findet dort jede Seite mit direktem Link auf die schlanke Markdown-Variante.
Bringt das wirklich etwas?
Ehrliche Antwort: Der Vorschlag ist jung, und kein KI-Anbieter sagt verbindlich zu, dass er die Datei auswertet. Aber die Logik spricht dafür – wer maschinenlesbar veröffentlicht, macht es KI-Assistenten leicht, ihn korrekt wiederzugeben. Die Kosten liegen bei null, wenn das CMS die Arbeit übernimmt.
Zwei ergänzende Wege
Die llms.txt ist nicht der einzige maschinenlesbare Zugang. Für Agenten, die eine Website nicht nur lesen, sondern pflegen sollen, liegt die README_MASCHINEN.md bereit – eine Kurzreferenz der API. Und für Suchmaschinen steckt in jeder Seite JSON-LD nach Schema.org: strukturierte Angaben zu Seitentyp, Datum und Hierarchie. Mehr dazu im Beitrag Gefunden werden ohne SEO-Plugin, die Gesamtstrategie hinter maschinenlesbaren Websites auf der Seite Maschinen-CMS.