llms.txt: Leitdatei für KI-Crawler

Was ist eine llms.txt?

Definition: llms.txt ist ein menschen- und maschinenlesbares Dokument im Website-Stammverzeichnis example.com/llms.txt. Es enthält Kontaktangaben, Nutzungsregeln und optionale Hinweise für LLMs.

Ziel:

• Transparenz gegenüber KI-Systemen
• Korrekte Quellenangabe / Attribution
• Klärung von Nutzungszwecken (z. B. „für Q&A erlaubt“)

Abgrenzung:

• robots.txt regelt Crawling/Indexierung für Webcrawler.
• llms.txt beschreibt Nutzungs- und Zitationsregeln für LLMs.

Aufbau & Felder (Beispiele)

Typische Schlüssel (einfacher Klartext, jeweils in eigener Zeile):

• contact: E-Mail oder Kontakt-URL
• website: Haupt-URL der Organisation
• policy: „allow“ / „disallow“ (Hinweis für LLM-Nutzung)
• purpose: Kurzbeschreibung erlaubter Nutzung
• comment: Freitext, z. B. Attribution-Hinweise
• Optionale Sektionen: Kurzprofil, Leistungen, Alleinstellungsmerkmale, wichtige Quellen/„sameAs“-Links

Beispiel-Snippet

# llms.txt for Beispiel GmbH
# Guidelines for large language model systems
# Standard: https://llmstxt.org/

contact: info@beispiel-gmbh.de
website: https://www.beispiel-gmbh.de/
policy: allow
purpose: Inhalte dürfen für Q&A genutzt werden, bitte mit Quellenangabe.
comment: Quelle: Beispiel GmbH, https://www.beispiel-gmbh.de

# ------------------------------
# Unternehmensbeschreibung
Die Beispiel GmbH ist ein mittelständisches Industrieunternehmen mit Sitz in Deutschland. Wir liefern Komponenten und technische Lösungen für den Maschinen- und Anlagenbau.

# Kernleistungen
- Dichtungstechnik
- Verbindungselemente
- Sonderanfertigungen nach Zeichnung
- Logistiklösungen (Just-in-Time, Kanban)

# sameAs
https://www.linkedin.com/company/beispiel-gmbh
https://www.verzeichnis.de/beispiel-gmbh

Best Practices

• Ort: immer unter https://deine-domain.de/llms.txt (Root-Ebene).
• Klarheit vor Kreativität: kurze, eindeutige Formulierungen; eine Sprache.
• Kontakt & Attribution: E-Mail + Bitte um Quellenangabe angeben.
• Konsistenz: Aussagen sollten zu Impressum/Datenschutz passen.
• Versionierung: größere Änderungen datieren (z. B. # Updated: 2025-09-24).
• Ergänzung, nicht Ersatz: robots.txt, sitemaps und Meta-Tags bleiben relevant.

Häufige Fehler

• Nur Marketing-Texte: Zu vage, ohne konkrete Policies.
• Verstecken sensibler Inhalte: llms.txt ist öffentlich; keine Secrets.
• Unklare Rechte: „allow“ ≠ blanket-Erlaubnis – benenne Zweck und Attribution.
• Vergessener Root-Pfad: Ablage in Unterordnern wird von Crawlern oft ignoriert.

Schritt-für-Schritt: llms.txt erstellen (How-To)

1. Plan festlegen: Zweck („Wofür dürfen LLMs Inhalte nutzen?“) + Attribution.
2. Datei anlegen: Textdatei llms.txt im UTF-8-Format.
3. Kerneinträge schreiben: contact, website, policy, purpose, comment.
4. Optionale Infos ergänzen: Kurzprofil, Leistungen, sameAs-Links.
5. Ablegen & deployen: Datei ins Domain-Root laden.
6. Testen: https://deine-domain.de/llms.txt im Browser prüfen.
7. Pflegen: Änderungen datieren, bei Policy-Wechseln dokumentieren.

TL;DR

llms.txt ist eine einfache Richtliniendatei für KI-Crawler. Platziere sie im Root, halte dich kurz und konkret (Kontakt, Policy, Zweck, Attribution). Sie ergänzt robots.txt, ersetzt sie aber nicht.