llms.txt: Was es ist, wie du sie schreibst und wie du sie validierst

Kurz gesagt: llms.txt ist eine vorgeschlagene Markdown-Datei unter /llms.txt, die Sprachmodellen eine kurze Übersicht deiner Website gibt: einen Titel # Name der Website (der einzige Pflichtteil), eine optionale einzeilige Zusammenfassung als > -Blockquote und ##-Abschnitte, die deine nützlichsten Seiten als Markdown-Links auflisten. Sie steuert kein Crawling, ist kein Google-Rankingsignal, und die großen KI-Crawler dokumentieren nicht, dass sie die Datei lesen. Sie ist trotzdem günstig zu veröffentlichen und nützlich für Tools und Agenten, die auf deine Website verwiesen werden. Schreib sie in zehn Minuten, liefere sie als Klartext mit Status 200 aus und validiere sie.

Nur wenige Webdateien haben so viel Aufmerksamkeit bekommen bei so wenig dokumentierter Wirkung. Plugins fügen llms.txt mit einem Klick hinzu, Ratgeber versprechen, sie bringe dich „in ChatGPT“, und viele Website-Betreiber veröffentlichen eine, ohne zu wissen, was sie enthalten soll. Dieser Leitfaden hält sich an das, was der Vorschlag definiert, was die KI-Anbieter gesagt und nicht gesagt haben und wie du eine Datei schreibst, die korrekt und wirklich nützlich ist. Außerdem erklärt er genau, was unser kostenloser llms.txt-Checker prüft und wie du jedes gemeldete Problem behebst.

Was llms.txt ist

Der llms.txt-Vorschlag wurde am 3. September 2024 von Jeremy Howard veröffentlicht. Er beschreibt sich selbst als „a proposal to standardise on using an /llms.txt file to provide information to help agents use a website“, und die Seite weist darauf hin, dass er inzwischen in der zweiten Version vorliegt und für Beiträge aus der Community offen ist.

Die Idee: HTML-Seiten sind voller Navigation, Skripte und Layout, die den begrenzten Kontext eines Modells verschwenden. Eine kurze, von Menschen geschriebene Markdown-Datei kann einem Modell sagen, was die Website ist und wo die nützlichen Inhalte liegen. Laut Vorschlag wäre llms.txt „mainly useful for inference rather than training“, also dann, wenn ein Modell oder Agent eine Frage beantwortet und deine Website live liest.

Das Format, Abschnitt für Abschnitt

Der Vorschlag definiert die Abschnitte in einer festen Reihenfolge:

Jeder Eintrag in einer File List ist ein Markdown-Listenpunkt mit einem Pflicht-Link [Name](URL), optional gefolgt von einem Doppelpunkt und einer Anmerkung zur Seite. Der Vorschlag empfiehlt außerdem, für einzelne Seiten eine Markdown-Version unter derselben URL anzubieten, indem man .md anhängt, zum Beispiel page.html.md, oder die Endung ersetzt (page.md).

Die Datei liegt in der Regel im Stammverzeichnis der Website, aber der Vorschlag erlaubt jeden Pfad; sie deckt dann die Seiten unter diesem Pfad ab, was zu Dokumentationen unter /docs/ passt. Die Next.js-Dokumentation verweist zum Beispiel auf einen Index unter /docs/llms.txt.

Was llms.txt nicht ist

• Keine Zugriffskontrolle. robots.txt, definiert in RFC 9309, sagt Crawlern, was sie abrufen dürfen. llms.txt erlaubt und verbietet nichts. Der Vorschlag selbst sagt, die beiden hätten „different purposes“ und llms.txt könne robots.txt ergänzen.
• Keine Sitemap. Eine Sitemap listet für Suchmaschinen jede indexierbare URL auf. llms.txt listet eine kuratierte Handvoll mit Kontext. Laut Vorschlag ist eine Sitemap „isn't a substitute“ für llms.txt.
• Keine Google-Anforderung. Googles Hinweise zu KI-Funktionen sagen: „You don't need to create new machine readable files, AI text files, or markup to appear in these features.“
• Von den großen KI-Crawlern nicht dokumentiert. Die Crawler-Dokumentation von OpenAI, Anthropic und Perplexity erklärt robots.txt-Tokens und IP-Bereiche; Stand Oktober 2026 erwähnt keine dieser Seiten llms.txt.

Warum du trotzdem eine veröffentlichen solltest

Drei Gründe halten auch ohne Übertreibung stand:

1. Agenten und Coding-Assistenten lesen sie, wenn man sie auf eine Website verweist. Wenn ein Entwickler die URL deiner Doku in einen Assistenten einfügt, ist ein sauberer Index aus Markdown-Links leichter zu verarbeiten als deine gerenderte Navigation. Deshalb haben Dokumentationsplattformen sie zuerst übernommen; llmstxt.org listet Generatoren in Mintlify, GitBook, Yoast SEO, AIOSEO, Wix und anderen auf.
2. Sie erzwingt eine nützliche redaktionelle Übung. Einen Satz darüber zu schreiben, was du tust, und die zehn wichtigen Seiten auszuwählen, ist dieselbe Arbeit, die eine Startseite für Menschen und für die Suchcrawler verständlich macht, die tatsächlich KI-Antworten speisen.
3. Sie kostet fast nichts. Eine statische Datei, kein laufender Aufwand außer dem Aktuellhalten der Links.

Was sie nicht leistet: eine Website reparieren, die KI-Crawler nicht erreichen können. Wenn OAI-SearchBot von deiner Firewall ein 403 bekommt, ändert keine Textdatei etwas daran. Prüfe zuerst den Zugriff mit dem KI-Crawler-Checker und lies unseren Leitfaden zu KI-Crawlern für die Details.

Kopierfertige llms.txt-Beispiele

Ein Softwareprodukt

# Tallyboard

> Tallyboard is time tracking and invoicing software for agencies of 5 to 200 people. Plans start at $12 per user per month; a 14-day trial needs no card.

Tallyboard runs in the browser and on iOS and Android, and integrates with QuickBooks, Xero and Slack.

## Product
- [Features](https://www.example.com/features): timers, timesheets, approvals, invoicing
- [Pricing](https://www.example.com/pricing): plans, limits and annual discount
- [Integrations](https://www.example.com/integrations): QuickBooks, Xero, Slack, Jira

## Help
- [Getting started](https://www.example.com/help/getting-started): set up a workspace in 10 minutes
- [API reference](https://www.example.com/docs/api.md): REST API, authentication and rate limits

## Optional
- [Changelog](https://www.example.com/changelog)
- [Company](https://www.example.com/about)

Ein lokales Unternehmen

# North Street Bakery

> Family bakery in Springfield, Illinois, baking sourdough, pastries and custom cakes since 2009. Open Monday to Saturday.

## Visit
- [Location and hours](https://www.example.com/visit): 120 North Street, opening hours, parking
- [Contact](https://www.example.com/contact): phone, email and order form

## Order
- [Custom cakes](https://www.example.com/cakes): flavors, sizes, prices and lead time
- [Catering](https://www.example.com/catering): office breakfast boxes

Eine Dokumentationsseite

# Lumen SDK

> Lumen is an open-source JavaScript SDK for building offline-first apps. MIT license.

## Docs
- [Quick start](https://docs.example.com/quick-start.md): install and first sync in five minutes
- [Configuration](https://docs.example.com/config.md): every option with defaults
- [Conflict resolution](https://docs.example.com/conflicts.md): how merges work

## Examples
- [Todo app](https://docs.example.com/examples/todo.md)

## Optional
- [Architecture notes](https://docs.example.com/internals.md)

Regeln, die die Datei nützlich machen: Formuliere die Zusammenfassung als Fakten (was, für wen, wo, Preis), verwende absolute URLs kanonischer Seiten, die 200 zurückgeben, halte die Anmerkungen kurz und verlinke auf Markdown-Versionen, wo du welche hast.

So funktioniert der llms.txt-Checker von Searvia

Der llms.txt-Checker nutzt dieselbe Engine wie unser Website-SEO-Checker. Du gibst eine Domain oder eine Seitenadresse ein; er liest diese Seite (bei einer reinen Domain deine Startseite) und die Dateien der Website drumherum, führt in etwa 20 Sekunden 38 Prüfungen durch und stellt die drei Prüfungen, um die es in diesem Tool geht, an den Anfang. Das macht jede davon genau:

llms.txt-Datei (niedrige Priorität). Der Checker folgt der Seite bis zur endgültigen Adresse und ruft dann /llms.txt auf diesem Host ab, wobei er Weiterleitungen folgt. Die Datei gilt nur dann als vorhanden, wenn:

• sie mit Status 200 antwortet,
• sie keine HTML-Seite ist (ein Content-Type text/html oder ein Body, der mit <!doctype oder <html> beginnt, bedeutet, dass dein Server eine Webseite zurückgegeben hat, meist eine „Nicht gefunden“-Seite oder die Startseite), und
• sie nicht leer ist.

Die Prüfung ist bestanden, wenn die Datei nach einem optionalen Byte Order Mark (BOM) und führenden Leerzeichen mit # beginnt, der H1, die der Vorschlag verlangt. Der Bericht zählt außerdem die Markdown-Links der Form [Text](URL). Er gibt eine Warnung statt eines Fehlers aus, wenn die Datei fehlt oder keinen Titel hat, weil llms.txt optional ist.

Der Checker validiert weder den Blockquote noch die Reihenfolge der Abschnitte noch, ob die verlinkten Seiten existieren, und er prüft nur das Stammverzeichnis des Hosts, nicht /docs/llms.txt. Nach llms-full.txt sucht er nicht.

Zugriff für KI-Crawler (hohe Priorität). Derselbe Bericht zeigt, ob robots.txt 10 KI- und Suchcrawlern sowie 2 Opt-out-Tokens für KI-Training den Abruf der Seite erlaubt und ob deine Firewall eine Anfrage abweist, die sich als GPTBot ausgibt (eine Warnung, kein Beweis, da die Anfrage nicht von den Adressen von OpenAI kommt). Das gehört zum Fokus dieses Tools, weil eine llms.txt, die Crawler nicht erreichen können, sinnlos ist.

XML-Sitemap (mittlere Priorität). Der Checker probiert die Sitemap:-Zeilen in robots.txt, dann /sitemap.xml und /sitemap_index.xml, insgesamt bis zu vier Adressen. Er besteht bei der ersten, die mit 200 und einem <urlset>- oder <sitemapindex>-Root antwortet, und meldet, wie viele <loc>-Einträge er gefunden hat. Sitemap und llms.txt erfüllen unterschiedliche Aufgaben, und du willst beide.

Die Gesamtnote von A+ bis F umfasst alle 38 Prüfungen, gewichtet nach Priorität, und der Bericht lässt sich per Link teilen.

Das Ergebnis lesen

Ein Bestehen mit 0 Links bedeutet, dass die Datei einen Titel, aber keine Markdown-Links hat und Tools damit nichts zum Folgen bietet. Ein Bestehen mit 300 Links bedeutet, dass du eine Sitemap eingefügt hast; kürze sie auf die Seiten, auf die es ankommt.

So behebst du jedes llms.txt-Problem

1. No llms.txt file was found

1. Schreibe die Datei anhand eines der obigen Beispiele. Speichere sie als UTF-8-Klartext mit genau dem Namen llms.txt, kleingeschrieben.
2. Lege sie dort ab, wo dein Server das Stammverzeichnis der Website ausliefert:
   • Statische Websites und die meisten Frameworks: der Ordner public/ oder static/ (Next.js, Vite, Astro, Nuxt und Hugo liefern diesen Ordner im Stammverzeichnis aus).
   • WordPress: Yoast SEO und AIOSEO können die Datei erzeugen; andernfalls lade sie in das WordPress-Stammverzeichnis neben wp-config.php hoch.
   • Shopify: Du kannst keine Dateien im Stammverzeichnis ablegen, nutze also eine App oder lade die Datei unter Dateien hoch und lege eine URL-Weiterleitung von /llms.txt darauf an. Der Checker folgt Weiterleitungen, das funktioniert also, solange das Ziel als Text ausgeliefert wird.
   • Wix: llmstxt.org nennt Wix unter den Plattformen, die die Datei unterstützen; sieh in den SEO-Einstellungen deiner Website nach.
3. Öffne https://yourdomain.com/llms.txt in einem privaten Fenster und prüfe, ob du rohes Markdown siehst und nicht deine Website.
4. Führe den llms.txt-Checker erneut aus.

2. llms.txt exists but does not start with a "# " title

Die ersten Zeichen, die keine Leerzeichen sind, müssen # gefolgt von einem Leerzeichen sein. Häufige Ursachen:

• Die Datei beginnt mit der Zusammenfassung oder einer leeren Liste; füge # Name deiner Website als erste Zeile hinzu.
• Die Überschrift ist als #Name ohne Leerzeichen geschrieben oder als Name mit === darunter. Verwende # Name.
• Ein unsichtbares Byte Order Mark (BOM) am Dateianfang. Unser Checker ignoriert es, aber manche anderen Parser sehen dann # nicht als erste Zeichen. Speichere die Datei im Editor sicherheitshalber als „UTF-8 ohne BOM“.
• Ein Plugin hat über dem Titel einen Kommentar oder eine „generated-by“-Zeile eingefügt. Verschiebe sie nach unten oder entferne sie.

3. Die Adresse liefert eine Webseite statt der Datei

Wenn du eine Datei hochgeladen hast, der Checker sie aber weiterhin nicht findet, rufe die Header ab:

curl -I https://yourdomain.com/llms.txt

• Status 200 mit Content-Type: text/html: Die Catch-all-Route deiner App beantwortet jede unbekannte URL mit der Startseite oder einer „Nicht gefunden“-Seite mit Status 200. Liefere die Datei vor den App-Routen aus oder konfiguriere den Handler für statische Dateien.
• Status 404: Die Datei liegt nicht dort, wo der Server sucht. Prüfe Ordner und Dateinamen.
• Status 301 oder 302 auf die Startseite: Eine Weiterleitungsregel fängt unbekannte Pfade ab. Füge eine Ausnahme hinzu.
• Status 403: Eine Sicherheitsregel blockiert .txt-Dateien oder unbekannte Pfade. Erlaube /llms.txt.

Setze danach den Content-Type auf Klartext. In Nginx:

location = /llms.txt {
    default_type text/plain;
    charset utf-8;
}

In Apache leistet AddType text/plain .txt in der Site-Konfiguration oder in der .htaccess dasselbe. text/markdown ist ebenfalls in Ordnung; alles außer HTML besteht.

4. KI-Crawler-Zugriff schlägt fehl oder die Sitemap fehlt

Diese Punkte stehen im llms.txt-Bericht, weil sie wichtiger sind. Wenn KI-Suchcrawler in robots.txt oder durch die Firewall blockiert werden, behebe das zuerst; unser Leitfaden zu KI-Crawlern enthält die Schritte. Wenn keine Sitemap gefunden wurde, veröffentliche eine mit deinen indexierbaren Seiten, trage sie in robots.txt mit einer Zeile wie Sitemap: https://www.example.com/sitemap.xml ein und reiche sie in der Google Search Console und den Bing Webmaster Tools ein.

Halte sie aktuell

Eine llms.txt mit toten Links ist schlimmer als keine, weil sie Tools auf Fehlerseiten schickt. Drei Gewohnheiten halten sie korrekt:

• Erzeuge sie aus deinen Daten, wenn möglich. Ein Build-Schritt, der die Datei aus deiner Navigation oder deinem Doku-Index schreibt, läuft nie auseinander.
• Prüfe sie, wenn sich Preise, Tarife oder das Produktangebot ändern. Die Zusammenfassung ist der Teil, der am ehesten veraltet.
• Verlinke nur kanonische Seiten. Keine weitergeleiteten URLs, keine Tracking-Parameter, keine noindex-Seiten.

Durchgespieltes Beispiel (hypothetisch)

Das folgende Beispiel ist hypothetisch und enthält keine echten Daten. Fernway Travel, ein erfundener Reiseveranstalter, installiert ein Plugin, das llms.txt erzeugt. Der Checker meldet „No llms.txt file was found.“ curl -I zeigt Status 200 und Content-Type: text/html: Die Caching-Schicht der Website hat für die neue Adresse eine zwischengespeicherte Startseite ausgeliefert. Nach dem Leeren des Caches erscheint die Datei, doch der Checker meldet nun, sie „exists but does not start with a