Die Nutzung von Large Language Models (LLMs) wie ChatGPT, Gemini oder Perplexity als Alternative zur Suchmaschine nimmt schnell zu. Aktuell entfallen zwar immer noch 90% aller Suchanfragen auf Google – und nur 0,27% auf ChatGPT –, aber Hochrechnungen zeigen, dass sich das in den nächsten Jahren ändern und der Anteil an LLM-Suchen weiter wachsen soll.
Um nun auch weiterhin mit der eigenen Website relevant zu bleiben und bei KI-Antworten zitierfähig zu werden, hört man nun immer häufiger von einer neuen, zu implementierenden Datei: die llms.txt. Sie soll Hilfestellung geben, genau wie es die robots.txt und die Sitemap tun. Wir erklären, was es damit genau auf sich hat!
Was ist die llms.txt?
Während sich die an die Suchmaschinencrawler richtet und diesen sagt, welche Teile der Website ausgelesen werden dürfen und die sozusagen eine URL-Landkarte für Suchmaschinen bereitstellt, hat die llms.txt ein anderes Ziel: die Strukturierung der Webseite für – wie der Name bereits vermuten lässt – .
Den Vorschlag für die kam im September 2024 von Jeremy Howard, dem Mitbegründer von den KI-Unternehmen fast.ai und answer.ai, als eine mögliche Lösung um KIs gezielter mit hochwertigen Inhalten zu versorgen. Ein Schelm, wer vermutet, dass hier nur das wirtschaftliche Interesse KI-naher Unternehmen im Vordergrund stand. 🧐
Sie soll der neue Standard bei der Interaktion zwischen Websites und KIs werden. Die Datei wird von den Websitebetreibern selbst zur Verfügung gestellt und soll der KI als „semantischer Leitfaden“ dienen. Dabei wird die Datei mit den wichtigsten Inhalten der Website gefüttert, um diese für LLMs effizient nutzbar zu machen.
llms.txt vs. SEO & GEO
Anders als bei SEO bzw. GEO geht es hier also nicht um die Inhalte der Seite direkt. Es geht einzig darum, der KI einen kurzen Überblick darüber zu geben, was auf den einzelnen Seiten überhaupt zu finden ist. Hochwertige Inhalte stehen nach wie vor im Fokus, die llms.txt hilft nur dabei, Inhalte schneller und effizienter auffindbar zu machen. Sie bietet keinen SEO-Vorteil, das leisten weiterhin nur die Inhalte selbst.
Wie ist die llms.txt aufgebaut?
Die Struktur der llms.txt orientiert sich am bekannten -Format. Das heißt: Klare Überschriften, ein kurzer, prägnanter Abschnitt, der den Inhalt beschreibt, sowie Links zu den entsprechenden Seiten, die LLMs bevorzugt verarbeiten sollen.
Es gilt: Die kurzen Textabschnitte müssen klar und logisch formuliert sein. Das wiederum heißt, keine verschachtelten Sätze und keine blumige Sprache nutzen. KI liebt strukturierte Texte, die z.B. durch Aufzählungen gegliedert sind. Das macht die Texte besonders „scannable“ und für die KI schnell erfassbar. Zudem können Fettungen zur Strukturierung eingesetzt werden (hier werden sie dann nicht, wie in regulären Texten, zur visuellen Auflockerung genutzt).
Der Umfang der Datei ist auch abhängig von der Komplexität der jeweiligen Website, für die sie verfasst wird – soweit logisch.
Und wie viel Content braucht die llms.txt nun?
Die Antwort ist wie so häufig im Leben: Es kommt drauf an. Als groben Richtwert kann man sich an ca. 300-600 Wörtern orientieren, wobei natürlich ein privater Blog weit weniger Inhalt transportieren muss als ein umfangreiches Magazin oder ein großer Onlineshop mit erklärungsbedürftigen Produkten. Daher ist der Umfang auch immer vom Einzelfall abhängig.
Die Datei kann entweder ganz einfach per Hand erstellt werden, mittlerweile sind jedoch auch einige Generatoren verfügbar, die die llms.txt auf Knopfdruck automatisch erzeugen.
Brauche ich eine llms.txt?
Grundsätzlich kann man sagen: Schaden tut es nicht. Aber bringen tut es wahrscheinlich auch nichts.
Es gibt ein paar Punkte, die für die Einbindung der Datei in die Website sprechen:
Es ist jedoch nicht alles Gold, was glänzt und da die noch so neu ist, steckt sie aktuell noch in den Kinderschuhen.
Und was heißt das jetzt für mich?
Die llms.txt wird als neuer Standard für die Kommunikation zwischen Website und KI-Systemen, speziell LLMs, vorgeschlagen. Sie soll ein Wegweiser für LLMs sein und sie gezielt auf bestimmte Inhalte einer Website hinweisen, damit diese die Inhalte schneller und effizienter nutzen können.
Einziges Problem: LLMs scheinen die Datei bisher noch gar nicht zu verwenden, dementsprechend ist der Nutzen aktuell eher fraglich. Bislang lohnt sich die Implementierung also hauptsächlich für Vorreiter und Experimentierfreudige mit den nötigen, technischen Ressourcen.
