How-To

Wie du eine llms.txt für AI-Crawler anlegst

Die llms.txt ist eine neue Konvention, die es Website-Betreibern ermöglicht, KI-Sprachmodellen und AI-Crawlern gezielt Informationen über ihre Inhalte bereitzustellen. Ähnlich wie die robots.txt für klassische Suchmaschinen gibt die llms.txt an, welche Seiten und Inhalte für Large Language Models relevant sind. In dieser Anleitung lernst du Schritt für Schritt, wie du eine llms.txt erstellst, korrekt formatierst, auf deinem Server hinterlegst und testest – damit deine Inhalte in KI-Antworten besser sichtbar werden.
5 Min Lesezeit ·
Inhaltsverzeichnis
  1. Voraussetzungen
  2. Schritt-für-Schritt Anleitung
  3. Häufige Fehler
  4. Verifizierung

Voraussetzungen

Bevor du mit der Erstellung deiner llms.txt beginnst, stelle sicher, dass folgende Punkte erfüllt sind:

  • Zugriff auf deinen Webserver oder CMS: Du benötigst die Möglichkeit, Dateien im Root-Verzeichnis deiner Domain abzulegen (z. B. per FTP, SFTP oder über das Dateimanager-Panel deines Hosters).
  • Texteditor: Nutze einen einfachen Texteditor wie VS Code, Notepad++ oder Sublime Text. Wichtig: Die Datei muss als UTF-8 ohne BOM gespeichert werden.
  • Klarheit über deine Inhaltsstruktur: Überlege dir vorab, welche Seiten, Dokumente oder Bereiche deiner Website für KI-Modelle besonders relevant sind.
  • Grundkenntnisse in Markdown: Die llms.txt wird im Markdown-Format geschrieben. Grundlegende Kenntnisse (Überschriften mit #, Listen mit -, Links) sind hilfreich.

Schritt-für-Schritt Anleitung

Schritt 1: Verstehe die Struktur der llms.txt

Die llms.txt folgt einem definierten Markdown-Format. Sie beginnt mit dem Namen deiner Website als H1-Überschrift, gefolgt von einem kurzen Beschreibungsblock und optionalen Abschnitten mit Links zu relevanten Unterseiten. Das Grundgerüst sieht so aus:

# Meine Website

> Kurze Beschreibung, worum es auf dieser Website geht und welche Zielgruppe angesprochen wird.

## Wichtige Seiten

- [Startseite](https://example.com/): Überblick über alle Angebote.
- [Blog](https://example.com/blog/): Fachartikel zu SEO und KI.
- [Über uns](https://example.com/ueber-uns/): Informationen zum Team.

## Dokumentation

- [API-Docs](https://example.com/docs/api/): Technische Dokumentation.

Der Abschnitt mit der >-Blockquote ist der sogenannte Summary-Block – er wird von AI-Crawlern bevorzugt ausgelesen und sollte präzise und informativ sein.

Schritt 2: Erstelle die Datei lokal

Öffne deinen Texteditor und erstelle eine neue Datei. Speichere sie sofort unter dem Namen llms.txt (kleingeschrieben, ohne Leerzeichen). Wähle beim Speichern die Kodierung UTF-8 aus. Beginne nun mit dem Befüllen nach dem Schema aus Schritt 1. Passe den Inhalt auf deine Website an – beschreibe im Summary-Block in zwei bis vier Sätzen, was deine Website bietet, wer die Zielgruppe ist und welche Hauptthemen abgedeckt werden.

Schritt 3: Wähle die richtigen Seiten aus

Überlege dir, welche Seiten deiner Website den größten Mehrwert für KI-Modelle bieten. Gute Kandidaten sind:

  • Deine wichtigsten Landingpages und Produktseiten
  • Blogartikel mit hohem Informationsgehalt
  • Dokumentationsseiten oder FAQs
  • Die „Über uns"-Seite mit Informationen zu deiner Expertise

Vermeide es, rein kommerzielle Seiten ohne Informationsgehalt (z. B. Checkout-Seiten) aufzulisten. Strukturiere die Links in thematische Abschnitte mit H2-Überschriften (##), damit die Hierarchie für AI-Crawler klar erkennbar ist.

Schritt 4: Füge optionale Metadaten hinzu

Du kannst deiner llms.txt optionale Metadaten hinzufügen, um AI-Crawlern zusätzliche Hinweise zu geben. Platziere diese direkt unter dem Summary-Block:

# Meine Website

> Wir bieten Fachinhalte zu SEO, KI und digitalem Marketing für Unternehmen im DACH-Raum.

- Sprache: Deutsch
- Letztes Update: 2024-11-01
- Lizenz: CC BY 4.0
- Kontakt: hallo@example.com

## Hauptinhalte

- [SEO-Grundlagen](https://example.com/seo-grundlagen/): Einführung in Suchmaschinenoptimierung.

Diese Metadaten sind nicht standardisiert, helfen aber dabei, den Kontext deiner Inhalte zu vermitteln.

Schritt 5: Lade die Datei ins Root-Verzeichnis hoch

Die llms.txt muss zwingend im Root-Verzeichnis deiner Domain liegen, also erreichbar unter https://example.com/llms.txt. Gehe dazu wie folgt vor:

  1. Verbinde dich per FTP/SFTP mit deinem Server (z. B. mit FileZilla). Das Root-Verzeichnis ist meist /public_html/, /www/ oder /htdocs/.
  2. Lade die Datei llms.txt in dieses Verzeichnis hoch.
  3. Bei WordPress: Nutze den Dateimanager im Hosting-Panel oder ein FTP-Programm und lege die Datei neben der wp-config.php ab.

Wichtig: Die Datei darf nicht in einem Unterordner liegen. https://example.com/llms/llms.txt wird von AI-Crawlern nicht gefunden.

Schritt 6: Setze den korrekten MIME-Type

Stelle sicher, dass dein Server die llms.txt mit dem MIME-Type text/plain ausliefert. Bei Apache-Servern kannst du dies in der .htaccess ergänzen:

AddType text/plain .txt

Bei Nginx füge folgendes in deine Serverkonfiguration ein:

location = /llms.txt {
    default_type text/plain;
}

Dieser Schritt ist bei den meisten Standard-Hostings bereits korrekt vorkonfiguriert, sollte aber überprüft werden.

Schritt 7: Erstelle optional eine llms-full.txt

Neben der kompakten llms.txt kannst du eine erweiterte Version namens llms-full.txt anlegen. Diese enthält den vollständigen Klartext deiner wichtigsten Seiten – ideal für AI-Crawler, die tiefer in deine Inhalte eintauchen sollen. Platziere auch diese Datei im Root-Verzeichnis. Verlinke sie aus deiner llms.txt heraus:

## Vollständige Inhalte

- [Alle Inhalte als Volltext](https://example.com/llms-full.txt)

Häufige Fehler

  • Falsche Dateiablage: Die llms.txt liegt in einem Unterordner statt im Root-Verzeichnis. AI-Crawler suchen ausschließlich unter https://example.com/llms.txt.
  • Falsche Kodierung: Die Datei wird mit BOM oder als Windows-1252 gespeichert. Verwende immer UTF-8 ohne BOM.
  • Fehlender Summary-Block: Der >-Blockquote direkt unter dem H1 wird ausgelassen. Dieser Block ist jedoch der wichtigste Teil für AI-Crawler und sollte nie fehlen.
  • Zu viele irrelevante Links: Manche Betreiber listen alle Seiten ihrer Website auf, inklusive Datenschutz, Impressum und Checkout. Das verwässert den Informationsgehalt. Beschränke dich auf die 10–20 inhaltlich wertvollsten Seiten.
  • Keine Aktualisierung: Die llms.txt wird einmalig erstellt und dann vergessen. Aktualisiere die Datei regelmäßig, wenn neue wichtige Inhalte hinzukommen oder sich URLs ändern.

Verifizierung

Nachdem du die llms.txt hochgeladen hast, überprüfe folgende Punkte:

  1. Erreichbarkeit testen: Rufe https://deinedomain.de/llms.txt direkt im Browser auf. Die Datei muss als Klartext angezeigt werden, nicht als Download.
  2. HTTP-Header prüfen: Nutze das Tool httpstatus.io oder den Browser-Entwicklertools (F12 → Network → llms.txt aufrufen), um sicherzustellen, dass der Server den Status 200 OK und den Content-Type text/plain zurückgibt.
  3. Markdown-Validierung: Füge den Inhalt deiner llms.txt in einen Markdown-Previewer wie markdownlivepreview.com ein und prüfe, ob die Struktur korrekt dargestellt wird.
  4. Curl-Test: Führe folgenden Befehl in deinem Terminal aus:
curl -I https://deinedomain.de/llms.txt

Die Ausgabe sollte HTTP/2 200 und content-type: text/plain enthalten. Wenn du einen 404-Fehler erhältst, liegt die Datei nicht im richtigen Verzeichnis.

Häufige Fragen

Was ist eine llms.txt und wofür wird sie verwendet? +
Die llms.txt ist eine Textdatei im Markdown-Format, die im Root-Verzeichnis einer Website abgelegt wird. Sie richtet sich an KI-Sprachmodelle und AI-Crawler wie ChatGPT, Perplexity oder Claude und gibt diesen Systemen strukturierte Informationen darüber, welche Inhalte der Website besonders relevant sind. Sie funktioniert ähnlich wie die robots.txt, ist aber speziell für Large Language Models konzipiert.
Wo muss die llms.txt abgelegt werden? +
Die llms.txt muss zwingend im Root-Verzeichnis deiner Domain liegen und unter der URL https://deinedomain.de/llms.txt erreichbar sein. Ein Ablegen in Unterordnern wie /llms/llms.txt funktioniert nicht, da AI-Crawler ausschließlich den Root-Pfad prüfen. Beim Upload per FTP ist das Root-Verzeichnis meist der Ordner public_html, www oder htdocs.
Welches Format muss die llms.txt haben? +
Die llms.txt wird im Markdown-Format geschrieben. Sie beginnt mit dem Website-Namen als H1-Überschrift (#), gefolgt von einem Beschreibungsblock mit dem > Blockquote-Zeichen. Danach folgen optionale Abschnitte mit H2-Überschriften (##) und Listen von Links zu relevanten Unterseiten. Die Datei muss als UTF-8 ohne BOM gespeichert und mit dem MIME-Type text/plain ausgeliefert werden.
Verbessert eine llms.txt das Ranking in KI-Antworten? +
Eine llms.txt ist kein direkter Ranking-Faktor, erhöht aber die Wahrscheinlichkeit, dass AI-Crawler deine relevantesten Inhalte korrekt erfassen und in Antworten berücksichtigen. Sie hilft KI-Modellen, den Kontext und die Struktur deiner Website besser zu verstehen. Kombiniert mit hochwertigen Inhalten kann sie die Sichtbarkeit in KI-generierten Antworten verbessern.
Was ist der Unterschied zwischen llms.txt und llms-full.txt? +
Die llms.txt ist eine kompakte Übersichtsdatei mit Links zu den wichtigsten Seiten und einer kurzen Beschreibung. Die llms-full.txt ist eine erweiterte Version, die den vollständigen Klartext der wichtigsten Seiteninhalte enthält. AI-Crawler, die tiefer in deine Inhalte eintauchen wollen, können die llms-full.txt nutzen. Beide Dateien werden im Root-Verzeichnis abgelegt.

Du hast den Artikel gelesen.
Jetzt umsetzen?

Wir analysieren in 5 Minuten wo deine Website strukturell unsichtbar ist — kostenlos, ohne Verkaufsdruck.

Kostenlose Analyse starten