KI-Crawler steuern: llms.txt, robots.txt und GPTBot richtig konfigurieren

Kurzantwort: KI-Crawler steuerst du in erster Linie über robots.txt – und zwar getrennt nach Zweck. Training-Bots wie GPTBot, ClaudeBot und Google-Extended sammeln für Modelle. Such- und Retrieval-Bots wie OAI-SearchBot oder PerplexityBot speisen Antworten und Zitationen. llms.txt ist kein Opt-out und kein Ranking-Hebel: Die Datei hilft Modellen bei der Navigation, steuert aber keinen Zugriff. Wer alles pauschal blockiert, verschenkt AI-Sichtbarkeit. Wer alles zulässt, gibt Inhalte unkritisch in Trainingsdaten. Die belastbare Default-Position 2026: Training gezielt steuern, Retrieval erlauben, aggressive Scraping-Bots serverseitig stoppen.

Die häufigste Fehlentscheidung, die ich in Logs sehe: User-agent: * und ein pauschales Disallow: / für „alle KI“. Das ist so präzise wie die Brandmeldeanlage mit dem Lichtschalter zu verbinden. Du brauchst eine Matrix, keine Panik.

Warum „KI-Bot“ der falsche Oberbegriff ist

Unter „KI-Crawler“ laufen mindestens drei völlig unterschiedliche Jobs:

OpenAI dokumentiert das explizit: GPTBot und OAI-SearchBot sind unabhängig. Du kannst Training verbieten und trotzdem in ChatGPT-Suche auftauchen – oder umgekehrt. Genau diese Trennung fehlt in den meisten robots.txt-Dateien, die ich prüfe.

Google-Extended ist kein klassischer HTTP-User-Agent für die Suche, sondern ein Kontroll-Token für Gemini-/AI-Training. Disallow für Google-Extended betrifft laut Google nicht die klassische Suche und nicht die Rankings. Wer Googlebot und Google-Extended verwechselt, blockiert entweder zu viel oder zu wenig.

Nachfragebild (DataForSEO, Deutschland, Juli 2026)

llms.txt ist der klare Nachfrage-Magnet – und die SERP ist bereits voll mit deutschen Agentur- und Tool-Texten. Gleichzeitig zeigen die People-also-ask-Fragen („Wie generiere ich llms.txt?“, „Wie prüfe ich sie?“) und die AI-Overview-Quellen (u. a. SISTRIX, llmstxt.org, traffic3.net), dass viele Leser die Datei noch mit Zugriffskontrolle verwechseln. Genau dort liegt der Content-Hebel: klären statt mitmachen beim Hype.

robots.txt: der einzige Standard, der zählt

robots.txt ist seit 1994 Praxis und seit 2022 als RFC 9309 formalisiert. Jeder größere KI-Anbieter erklärt öffentlich, die Datei zu lesen. Das macht sie zum richtigen Ort für Opt-outs – mit zwei Grenzen:

1. Sie ist eine Bitte, keine Mauer. Seriöse Anbieter halten sich daran. Spoofing und aggressive Scraping-Bots nicht.
2. Sie wirkt nach vorne. Was schon in Trainingsdaten liegt, holst du damit nicht zurück.

OpenAI: drei Bots, drei Entscheidungen

Laut aktueller OpenAI-Bot-Doku:

Pragmatische Default-Konfiguration für die meisten Content- und Dienstleistungsseiten:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Änderungen an der Search-Eligibility brauchen laut OpenAI rund 24 Stunden, bis sie greifen. IP-Ranges zum Verifizieren: openai.com/gptbot.json und openai.com/searchbot.json.

Anthropic, Perplexity, Google, Rest

Die genaue Schreibweise der User-Agents ändert sich mit Versionsnummern. Match in Logs und Filtern immer auf den stabilen Token (GPTBot, OAI-SearchBot, …), nicht auf die komplette String-Version.

llms.txt: was sie ist – und was sie nicht ist

llms.txt ist ein Vorschlag von Jeremy Howard (Answer.AI, September 2024): eine Markdown-Datei unter /llms.txt, die einer KI kuratiert sagt, welche Seiten und Markdown-Versionen relevant sind. Format grob:

# Firmenname

> Kurzbeschreibung in einem Satz

## Docs

- [Leistungsübersicht](https://example.com/leistungen.md): Was wir anbieten
- [AI Search & GEO](https://example.com/leistungen/ai-search-geo.md): GEO-Leistung

## Optional

- [Blog](https://example.com/blog.md): Vertiefende Artikel

Wichtig für die Erwartungshaltung:

• Kein IETF-Standard. Community-Proposal, kein RFC.
• Kein Training-Opt-out. Zugriff steuert weiterhin robots.txt.
• Kein nachweisbarer Ranking-/Zitations-Hebel 2026. Analysen über große Domain-Samples finden keine belastbare Korrelation zwischen llms.txt und AI-Citation-Rate. Google hat klargestellt, dass klassische SEO-Signale zählen – nicht diese Datei.
• Sinnvoll vor allem für Docs, APIs, Wissenssysteme. Dort hilft eine kuratierte Markdown-Karte Agenten und Coding-Assistenten, Kontextfenster nicht mit HTML-Ballast zu füllen.

Meine Praxisregel: llms.txt anlegen, wenn du ohnehin saubere Markdown-Fassungen oder starke Doku hast – und wenn der Aufwand unter einer Stunde liegt. Als „GEO-Wunderwaffe“ verkaufen: nein. Als Navigationshilfe und Zukunftsinvestition: ja.

Die Entscheidungsmatrix für 2026

Für die meisten meiner Kunden ist Zeile zwei der Sweet Spot: in Antworten vorkommen, Trainingsdaten nicht gratis beliefern. Das ist keine Moralfrage, sondern eine wirtschaftliche: Retrieval liefert Referrals und Mentions; Training liefert dir in der Regel keinen Klick zurück.

Ähnlicheweb und Semrush zeigen weiterhin, dass AI-Referrals zwar volumenschwach, aber conversionstark sind – siehe auch meinen Artikel AI Visibility messen. Wer OAI-SearchBot und PerplexityBot blockiert, während er gleichzeitig „GEO“ verkauft, widerspricht sich selbst.

Cloudflare, WAF und der unsichtbare Block

Zwei typische Fallen in der Praxis:

1. robots.txt erlaubt OAI-SearchBot – Cloudflare blockiert „AI bots“. Edge-Settings überschreiben deine Absicht. Prüfe AI Crawl Control / Bot Management und stelle sicher, dass die gewünschten Bots durchkommen.
2. User-Agent spoofen. Jeder kann GPTBot in den Header schreiben. Echte OpenAI-Traffic kommt aus veröffentlichten IP-Ranges. Wer hart durchsetzen will, matched IPs – nicht nur Strings.

Server-Logs sind der Realitätstest. Ohne Logs diskutierst du Policy; mit Logs siehst du, wer wirklich kommt.

Was in den Logs wirklich auftaucht

Eine Policy ohne Log-Stichprobe ist Absichtserklärung. In den Access-Logs einer typischen Next-/Nginx-Site siehst du oft:

• wenige, regelmäßige Hits von GPTBot / OAI-SearchBot auf robots.txt und danach auf erlaubte URLs
• sporadische ChatGPT-User-Abrufe nach Nutzerfragen (kurzer Burst, keine Crawl-Session)
• PerplexityBot mit Quellenseiten, die später in Antworten auftauchen
• „GPTBot“-Strings von IPs außerhalb der OpenAI-Ranges → Spoofing oder Scanner

Wenn du Training blockierst, sollte GPTBot nach dem robots.txt-Fetch keine Inhalts-URLs mehr ziehen. Tut er es trotzdem von einer fremden IP: WAF. Tut er es von einer echten OpenAI-IP: Support-Ticket und Config nochmals prüfen – das ist die Ausnahme, nicht die Regel.

Hilfreicher Filter-Ansatz: erst User-Agent, dann IP-Range, dann Pfad. Nur User-Agent ist zu dünn.

Drei Szenarien, drei Policies

1. Beratungs- und Agenturseite (Lead-Gen)
Ziel: in KI-Antworten genannt werden, Inhalte nicht gratis trainieren.
→ GPTBot / Google-Extended / CCBot / Bytespider: Disallow. OAI-SearchBot / PerplexityBot: Allow. llms.txt: optional, wenn Leistungsseiten klar kuratierbar sind.

2. Docs / SaaS / Developer-Produkt
Ziel: Agenten und Coding-Assistenten finden die richtige Doku.
→ Retrieval Allow. Training fallweise Allow (viele Docs profitieren davon, im Modellwissen zu landen). llms.txt: stark empfohlen, plus .md-Spiegel der wichtigsten Seiten.

3. Medien / Paywall / Premium-Content
Ziel: Kontrolle über Weiterverwendung.
→ Training Disallow. Retrieval nur für frei zugängliche Teaser; Paywall-URLs sowieso hinter Login/noindex. WAF gegen Scraping priorisieren. llms.txt meist verzichtbar.

Die Matrix ist Absicht – nicht Religion. Wer stark auf Brand-Mentions aus dem Modellwissen setzt (ohne Live-Suche), lässt Training bewusst zu. Wer rechtlich oder kommerziell eng ist, schließt stärker.

Praxis-Checkliste (30 Minuten)

1. Öffne https://deinedomain.de/robots.txt.
2. Suche nach GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Bytespider.
3. Entscheide pro Bot: Allow / Disallow – Training vs. Retrieval getrennt.
4. Prüfe Cloudflare/WAF: keine stillen AI-Blöcke gegen deine Absicht.
5. Optional: /llms.txt mit 5–15 kuratierten Links und Kurzbeschreibungen.
6. Verifiziere mit curl -A "GPTBot" https://deinedomain.de/ und Log-Stichprobe.
7. Dokumentiere die Policy (Datum, Begründung) – sonst ändert sie in drei Monaten jemand „mal schnell“.

Beispiel: ausgewogene robots.txt (Auszug)

# Training: Opt-out
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# Retrieval: Allow
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml

Das ist ein Startpunkt, keine Universalformel. Bezahlte Inhalte, Mitgliederbereiche und rechtlich heikle Seiten brauchst du sowieso hinter Login oder noindex – robots.txt allein hält sie nicht aus dem Index.

Typische Fehler

Fehler: Alles KI blockieren und trotzdem GEO erwarten. Besser: Retrieval erlauben, Training bewusst steuern.

Fehler: llms.txt als Ersatz für robots.txt behandeln. Besser: Zugriff in robots.txt, Navigation optional in llms.txt.

Fehler: Nur GPTBot setzen und glauben, man sei „fertig“. Besser: OpenAI, Anthropic, Google-Extended, Perplexity und Scraping-Bots einzeln denken.

Fehler: robots.txt ändern und Cloudflare ignorieren. Besser: Edge und Origin gemeinsam prüfen.

Fehler: Ohne Logs Policy feiern. Besser: User-Agents und IPs stichprobenartig verifizieren.

Fazit: steuern statt sperren oder freigeben

KI-Crawler sind 2026 keine Ja/Nein-Frage. Sie sind eine Matrix aus Training, Retrieval und Durchsetzung. robots.txt bleibt das Werkzeug mit Standard und Wirkung. llms.txt bleibt eine optionale Navigationshilfe ohne nachweisbaren Zitations-Boost. Die Default-Position für die meisten Sites: Training-Opt-out wo sinnvoll, Search-Bots offen, aggressive Scraper am WAF stoppen.

Wenn du willst, prüfe ich deine robots.txt und Edge-Settings im kostenlosen Erstgespräch. Vertiefend: AI Search & GEO, der Grundlagenartikel AI Search & GEO 2026 und AI Visibility messen. Technisch anbinden lässt sich das oft über Webentwicklung & Tools.

FAQ zu KI-Crawlern und llms.txt

Blockiert GPTBot meine Chance, in ChatGPT genannt zu werden? Nein. GPTBot steuert Training. Für ChatGPT-Suche ist OAI-SearchBot maßgeblich. Beides lässt sich getrennt konfigurieren.

Brauche ich zwingend eine llms.txt? Nein. Sinnvoll bei Doku und klaren Inhaltskarten, optional sonst. Als Training-Schutz oder Ranking-Hack taugt sie nicht.

Reicht robots.txt gegen alle KI-Bots? Gegen kooperative Anbieter ja als Policy. Gegen Spoofing und aggressive Scraper brauchst du IP-/WAF-Regeln.

Beeinflusst Google-Extended meine Google-Rankings? Laut Google nein. Google-Extended betrifft AI-/Gemini-Training, nicht die klassische Suche.