llms.txt: Lohnt sich die Datei? Was unsere Server-Logs zeigen

Schaden tut die Datei nicht, und für manche Websites ist sie durchaus sinnvoll. Hier lesen Sie, was eine llms.txt ist, was unsere Logs im Einzelnen zeigen und für wen sich die Datei trotzdem lohnt.

Was ist eine llms.txt?

Eine llms.txt ist eine Textdatei im Markdown-Format, die im Hauptverzeichnis einer Website liegt (Ihre-Domain.de/llms.txt) und KI-Assistenten eine kurze Übersicht der wichtigsten Seiten geben soll. Vorgeschlagen hat sie der Entwickler Jeremy Howard im September 2024. Ein verbindlicher Standard ist sie nicht, und selbst die Projektseite nennt kein KI-System, das die Datei nachweislich ausliest.

Aufgebaut ist sie einfach: eine Überschrift mit dem Namen der Website, eine Zusammenfassung in ein, zwei Sätzen, darunter Listen mit Links und kurzen Erläuterungen. Gedacht ist sie laut Vorschlag vor allem für den Moment, in dem ein Assistent eine Frage beantwortet oder eine Aufgabe auf Ihrer Website erledigt, weniger für das Training von Sprachmodellen. Damit ist sie etwas anderes als die beiden Dateien, die jede Website ohnehin hat:

Quelle: llmstxt.org: The /llms.txt file

Wer liest die llms.txt? Unsere Server-Logs vom Oktober 2026

Bei uns liest sie kein Dienst, der sich als KI-Crawler zu erkennen gibt. Zwischen dem 1. und 15. Oktober 2026 stehen in unseren Server-Logs 413 Anfragen der Crawler von OpenAI, Anthropic und Perplexity: Leistungsseiten, Blogartikel, robots.txt und Sitemap. Auf die llms.txt entfällt keine davon, obwohl sie erreichbar ist und automatisch aus denselben Daten entsteht wie unsere Sitemap.

Die Crawler holen sich also, was sie brauchen, auf den bekannten Wegen. OAI-SearchBot, der Crawler hinter der ChatGPT-Suche, hat 48-mal die robots.txt gelesen, GPTBot 15-mal die Sitemap. Die fünf Abrufe der llms.txt im selben Zeitraum kamen mit gewöhnlicher Browser-Kennung, nicht von einem KI-Dienst. Die Einschränkung gehört dazu: Das sind 15 Tage auf einer einzelnen, jungen Website. Ein Beweis, dass kein Anbieter die Datei je liest, ist das nicht. Für die Sichtbarkeit einer Firmenwebsite spielt sie aber erkennbar keine Rolle.

Gezählt haben wir in den Zugriffsprotokollen unseres Webservers, die jede Anfrage mit Adresse, Uhrzeit und der Kennung des Absenders festhalten. KI-Crawler geben sich dort mit ihrem Namen zu erkennen. Gezählt sind GPTBot, OAI-SearchBot und ChatGPT-User (OpenAI), ClaudeBot, Claude-SearchBot und Claude-User (Anthropic) sowie PerplexityBot und Perplexity-User. Gefiltert wurde nach diesen Kennungen und dann nach der aufgerufenen Adresse. Mit den Protokollen Ihres eigenen Hosters lässt sich das genauso nachzählen; dafür reicht eine Tabellenkalkulation.

Was Google und Lighthouse zur llms.txt sagen

Google braucht die Datei nicht. In der Dokumentation zu den KI-Funktionen der Suche steht sinngemäß, dass Sie keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Auszeichnungen anlegen müssen, um in KI-Übersichten oder im KI-Modus zu erscheinen. John Mueller von Google hat die llms.txt schon im April 2025 mit dem Keywords-Meta-Tag verglichen: eine Behauptung des Betreibers darüber, worum es auf seiner Seite geht.

Verwirrung stiftet, dass Googles Prüfwerkzeug Lighthouse die Datei inzwischen in seinen Audits für KI-Agenten führt. Geprüft wird dort aber nur, ob der Abruf einen Serverfehler auslöst. Fehlt die Datei, gilt der Test laut Chrome-Dokumentation als nicht zutreffend, weil die Bereitstellung derzeit optional ist. Einen Abzug für eine fehlende llms.txt gibt es also nicht.

Quelle: Google Search Central: KI-Funktionen und Ihre Website

Wann sich eine llms.txt trotzdem lohnt

Eine llms.txt lohnt sich, wenn Menschen mit KI-Assistenten auf Ihrer Website arbeiten, statt sie nur zu lesen: bei technischer Dokumentation, einer Programmierschnittstelle oder einer großen Wissensdatenbank. Dafür ist das Format gebaut. OpenAI, Anthropic und Google (für Gemini) stellen ihre eigene Entwicklerdokumentation so bereit.

Der Website eines Handwerksbetriebs, einer Praxis oder eines Händlers bringt sie keine Anfrage. Erzeugt Ihr System die Datei automatisch, lassen Sie sie stehen. Von Hand pflegen oder als Leistung einkaufen würden wir sie nicht. Unsere bleibt, weil sie ohne Aufwand mitläuft und wir sehen wollen, ob sich die Logs ändern.

Was für die Sichtbarkeit in KI-Antworten tatsächlich zählt

Entscheidend ist, dass KI-Crawler Ihre Seiten abrufen dürfen und dort klare Antworten finden. Unsere Logs zeigen den Weg, den sie tatsächlich nehmen: robots.txt lesen, der Sitemap folgen, die Seiten selbst holen.

Die Probe dauert eine Minute: Rufen Sie Ihre-Domain.de/robots.txt auf. Steht dort unter GPTBot, OAI-SearchBot, ClaudeBot oder PerplexityBot ein „Disallow: /", ist der jeweilige Dienst ausgesperrt, und daran ändert auch eine llms.txt nichts. Die übrigen Hebel beschreibt unser Leitfaden In ChatGPT gefunden werden; wie wir Sichtbarkeit in Suche und KI-Antworten zusammen angehen, steht unter SEO und Conversion. Finden Sie in der robots.txt etwas, das Sie nicht einordnen können, schauen wir es uns an.