llms.txt erklärt: Die robots.txt der Maschinen-Ära
1994 bekam das Web die robots.txt – eine simple Textdatei, die Suchmaschinen den Weg weist. Drei Jahrzehnte später wiederholt sich die Geschichte: Die llms.txt macht dasselbe für Maschinen-Systeme. CMF erzeugt sie automatisch. Was steckt dahinter?
Das Problem: Maschinen lesen HTML nur widerwillig
Sprachmodelle verarbeiten am liebsten klaren, strukturierten Text. Moderne Websites liefern aber verschachteltes HTML voller Navigation, Skripte und Layout-Reste. Ein Maschinen-Crawler muss den eigentlichen Inhalt mühsam herausschälen – und übersieht dabei gern die Hälfte.
Der llms.txt-Standard (llmstxt.org) löst das mit einer Markdown-Datei im Hauptverzeichnis: Sie beschreibt in einem kurzen Kopf, worum es auf der Website geht, und listet dann die wichtigen Inhalte mit Links – idealerweise auf Markdown-Versionen der Seiten.
So setzt CMF den Standard um
In CMF musst du dafür nichts tun. Das System schreibt die llms.txt bei jeder Inhaltsänderung neu – mit allen veröffentlichten Seiten und News-Beiträgen samt Beschreibungen. Und weil jede CMF-Seite ohnehin als Markdown erreichbar ist (einfach .md an die URL anhängen), verweisen die Einträge direkt auf die maschinenfreundliche Variante.
Das Ergebnis kannst du dir auf dieser Website ansehen: cmf.brosemedien.de/llms.txt. Genau diese Datei lesen Maschinen-Crawler, bevor sie sich durch einzelne Seiten arbeiten.
Bringt das wirklich etwas?
Ehrliche Antwort: Der Standard ist jung, und kein Maschinen-Anbieter garantiert, dass die Datei ausgewertet wird. Aber die Logik spricht dafür – wer maschinenlesbar publiziert, macht es Antwortmaschinen leicht, ihn korrekt zu zitieren. Die Kosten dafür liegen bei null, wenn das CMS die Arbeit übernimmt. Mehr zur Gesamtstrategie hinter maschinenlesbaren Websites steht auf der Seite Maschinen-CMS.