Dürfen KI-Systeme Ihre Website lesen

robots.txt in einer Minute

Es ist eine Textdatei unter uwdomein.be/robots.txt. Öffentlich lesbar, Sie können die Ihres Wettbewerbers also genauso gut öffnen wie Ihre eigene.

Es ist eine Bitte und kein Schloss. Ordentliche Crawler halten sich daran. Einen Scraper, der sie ignoriert, halten Sie damit nicht auf. Wollen Sie etwas wirklich abschirmen, dann brauchen Sie ein Passwort oder eine Firewallregel. Darüber hinaus regelt die robots.txt, ob ein Bot lesen darf und nicht, ob Ihre Seite in den Index kommt. Diese Unterscheidung steht in Kapitel 1.

Ein technischer Punkt macht die meisten Dateien kaputt. Regeln gelten pro User-agent-Block und ein Bot liest nur den Block, der am besten zu seinem Namen passt. Er liest also nicht sowohl seinen eigenen Block als auch den von User-agent: *. Setzen Sie ordentlich ein Disallow: /admin/ unter den Stern und fügen Sie danach einen Block für GPTBot mit nur Allow: / hinzu, dann darf GPTBot sehr wohl in Ihren Verwaltungsbereich. Wiederholen Sie Ihre Disallow-Regeln in jedem Block, in dem sie gelten sollen. Im Beispiel weiter unten geschieht das, indem mehrere User-agent-Zeilen über einen Satz Regeln gesetzt werden.

Drei Arten von Zugang, die fast jeder durcheinanderbringt

Training. Das Material, mit dem ein Modell gelernt wird. Blockieren Sie das, dann kommt Ihr Text nicht in eine nächste Version des Modells. Es bedeutet nicht, dass Sie aus den Antworten verschwinden, denn Antworten zu aktuellen Themen kommen heute großenteils aus einer Suche im selben Moment.

Anzeige in den Suchergebnissen des Assistenten. Das ist der Bot, der Ihre Seite abholt, während der Assistent sucht. Blockieren Sie diesen, dann kann der Assistent Sie nicht zitieren. Das ist der Zugang, der zählt, wenn Sie genannt werden wollen.

Abholen nach einem Klick. Der Nutzer fügt Ihren Link ein oder bittet den Assistenten, Ihre Seite zusammenzufassen. Blockieren Sie diesen, dann bekommt Ihr eigener Besucher die Meldung, dass die Seite nicht gelesen werden kann.

Blockieren Sie nur die erste Gruppe und Sie bleiben zitierfähig. Blockieren Sie alles und Sie sind aus den Antworten verschwunden.

Die Crawler beim Namen

Die Namen Claude-Web und anthropic-ai waren die alten Namen von Anthropic. Seit Februar 2026 sind sie abgeschafft und durch die drei oben ersetzt. Sie dürfen aus Ihrer Datei und wenn Sie sie stehen lassen, schaden sie nicht, weil unter diesem Namen nichts mehr vorbeikommt.

Zwei Anmerkungen zu dieser Liste. Sie verändert sich: Anbieter fügen Namen hinzu, benennen Bots um und beschreiben die Rolle nicht immer gleich scharf. Setzen Sie sich zweimal im Jahr in den Kalender, dass Sie diese Datei nachlesen. Und stützen Sie keine strikte Wahl auf eine Rolle, die Sie hier lesen, ohne sie an der Dokumentation des Anbieters selbst zu prüfen.

Googlebot fehlt hier bewusst. Er fällt unter User-agent: * und braucht keinen eigenen Block. Google-Extended ist ein eigener Name, der nur die KI-Nutzung regelt und nichts an Ihrer gewöhnlichen Position bei Google ändert.

Eine robots.txt zum Übernehmen

Ersetzen Sie die Beispielpfade und die Sitemap-URL. Der Rest kann stehen bleiben.

# robots.txt für uwdomein.be
# Suchmaschinen und KI-Assistenten dürfen diese Website lesen und zitieren.
# Zuletzt geprüft: 3. August 2026

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /klantenzone/

# Klassische Suchmaschinen
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: YandexBot
Allow: /
Disallow: /admin/
Disallow: /klantenzone/

# KI-Assistenten: Anzeige in den Ergebnissen und Abholen nach einem Klick
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Applebot
Allow: /
Disallow: /admin/
Disallow: /klantenzone/

# Trainingsdaten
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: cohere-ai
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /admin/
Disallow: /klantenzone/

Sitemap: https://uwdomein.be/sitemap.xml

Wollen Sie sehr wohl zitiert werden und nicht mittrainiert werden, dann ersetzen Sie im letzten Block Allow: / durch Disallow: /. Der Rest bleibt stehen. Das ist der ganze Eingriff.

Unsere eigene Wahl ist, alles zuzulassen. Wir veröffentlichen den Leitfaden, um gelesen zu werden und ein Modell, das unseren Text nicht lesen darf, zitiert uns nie. Für einen Verlag, der von Lizenzen lebt, liegt diese Abwägung anders. Es gibt hier keine allgemein richtige Antwort.

KI-Übersichten von Google und warum es in der robots.txt nicht darum geht

Blockieren Sie Google-Extended, dann stehen Sie einfach weiter in den Suchergebnissen von Google. Googlebot ist ein anderer Bot und den verlieren Sie damit nicht.

Was Google-Extended innerhalb der KI-Bestandteile der Google-Suche genau berührt und was nicht, ist nicht vollständig durchsichtig. Wollen Sie mit Sicherheit außerhalb einer KI-Übersicht bleiben, dann ist der einzige harte Schalter die Snippet-Steuerung: nosnippet in Ihrem Robots-Meta oder data-nosnippet um ein Stück Text. Das schaltet auch Ihr gewöhnliches Snippet in den Suchergebnissen aus. Das ist ein teurer Preis.

Und es ist ein Preis für ein Problem, das Sie vielleicht nicht haben. Bei unserer eigenen Nullmessung vom 2. August 2026 erschien für keine einzige von fünfzehn niederländischsprachigen Suchanfragen in Belgien eine KI-Übersicht von Google. Null von fünfzehn. In dieser Sprache und in dieser Region gibt es diese Schicht heute also kaum. Für ein flämisches oder niederländisches KMU ist die Diskussion über KI-Übersichten damit vorerst theoretisch. Im Englischen sieht das anders aus.

Unser Robots-Meta bleibt deshalb index, follow, max-snippet:-1, max-image-preview:large. Das ist das Gegenteil von nosnippet: Sie geben Google und den Assistenten allen Raum, Sie zu zeigen. Wer zitiert werden will, knapst daran nicht.

Die stille Blockade: Security-Plugin, CDN und Firewall

Das ist nach unserer Erfahrung die häufigste Ursache für Unsichtbarkeit in KI-Antworten. Es ist fast nie eine bewusste Wahl. Es ist eine Einstellung, die jemand einmal angeschaltet hat oder die standardmäßig anstand.

Woher es kommt:

• Ein Security-Plugin mit einer Liste ausgesperrter Bots. Diese Liste wird vom Hersteller gepflegt und nicht von Ihnen.
• Ein CDN oder eine Firewall mit Botverwaltung. Manche Anbieter haben einen Schalter mit einem Namen wie KI-Scraper blockieren und der steht manchmal standardmäßig an.
• Eine Prüfseite, die erst JavaScript ausführen will, bevor der echte Inhalt kommt. Ein Crawler, der kein JavaScript ausführt, bekommt diese Seite und nichts anderes.
• Eine Ratenbegrenzung, die einen Crawler nach einigen Anfragen abwürgt.
• Eine Ländersperre. Crawler kommen nicht unbedingt aus Ihrem Land.
• Eine Cookie-Mauer, die eine Einwilligungsseite zurückgibt statt Ihres Textes.

Das Tückische daran: Ihre robots.txt sagt Allow: / und stimmt vollständig. Die Blockade sitzt eine Schicht höher, noch bevor Ihre Website beginnt. Ein robots.txt-Prüfer meldet nichts, denn er liest nur die Datei.

Was wir auf unserer eigenen Website gefunden haben

Dieses Kapitel ist nicht theoretisch. Am 4. August 2026 haben wir in das Crawler-Protokoll von semanu.be geschaut. In vierundzwanzig Stunden: 229 Anfragen von KI-Crawlern, 107 durchgelassen und 122 gescheitert. Von diesen 122 entfielen 120 auf einen einzigen Bot.

Unsere robots.txt erlaubte zu diesem Zeitpunkt achtzehn Crawler ausdrücklich, PerplexityBot eingeschlossen. Die Datei stimmte. Die Blockade saß bei unserem CDN: ein Schalter namens Bot fight mode war eingeschaltet. Er fordert alles heraus, was nicht als verifizierter Bot erkannt wird, und Cloudflare hatte Perplexity im August 2025 von dieser Liste genommen, nach einem Streit über das Verhalten ihres Crawlers.

Die Folge: eine der vier großen Antwortmaschinen konnte unsere Website nicht lesen, während unsere robots.txt sie willkommen hieß. Das erklärte sofort, warum diese Maschine uns in unserer eigenen Sichtbarkeitsmessung nirgends nannte. Kein Inhaltsproblem und kein Schreibproblem, sondern ein Häkchen.

Die Lehre, die Sie daraus mitnehmen können: die robots.txt ist eine Absichtserklärung und die Schicht davor entscheidet. Nur das Crawler-Protokoll Ihres CDN oder Ihres Servers zeigt, was wirklich geschieht.

Wie Sie prüfen, ob es funktioniert

Die dritte Kontrolle ist die einzige, die die stille Blockade fängt. Eine Zeile in einem Terminal:

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "OAI-SearchBot" https://uwdomein.be/

Sie wollen 200 sehen. Bekommen Sie 403, 429 oder 503, dann hält etwas dagegen. Wiederholen Sie das für GPTBot, ClaudeBot und PerplexityBot.

Eine 200 ist nicht von selbst eine gute Nachricht, denn eine Prüfseite liefert die auch. Sehen Sie deshalb auch nach, was zurückkommt:

curl -s -A "ClaudeBot" https://uwdomein.be/ | head -c 400

Sehen Sie Ihre eigenen Überschriften und Texte, dann ist es in Ordnung. Sehen Sie eine Sicherheitsmeldung oder eine leere Seite mit nur einem Skript, dann sitzt etwas zwischen Ihnen und dem Bot.

Was die robots.txt nicht regelt

Sie holt Sie nicht aus Antworten heraus, die schon bestehen. Was ein Modell gelernt hat, vergisst es nicht, weil Sie heute eine Zeile hinzufügen.

Sie hält keinen Scraper auf, der sich nicht darum schert.

Sie bestimmt nicht, ob Sie indexiert werden. Das ist Kapitel 1.

Und sie liefert keine Zitationen. Zugang ist die Voraussetzung und nicht das Ergebnis. Kapitel 6 stellt die vier Faktoren zusammen und Zugang ist einer davon. Ob es wirkt, messen Sie so, wie es in Kapitel 9 beschrieben ist.

Was Sie selbst können und was nicht

Selbst zu tun, ohne Entwickler:

• uwdomein.be/robots.txt öffnen und lesen. Fünf Minuten und es ist die billigste Kontrolle in diesem ganzen Leitfaden.
• Die Datei oben übernehmen und die Disallow-Pfade und die Sitemap-URL anpassen.
• Den curl-Test für vier Botnamen durchführen. Auf Mac und Linux ist curl schon vorhanden und unter Windows steckt es in PowerShell.
• Den robots.txt-Bericht der Search Console ansehen.
• In der Verwaltungsoberfläche Ihres CDN oder Security-Plugins nach einem Schalter rund um Bots suchen.

Wofür Sie Hilfe brauchen:

• Eine Botverwaltungsregel bei Ihrem CDN, die nur Ihr Hoster ausschalten kann.
• Eine Firewall, die aufgrund von Verhalten blockiert statt aufgrund des Namens. Dagegen hilft keine einzige Regel in der robots.txt.
• Eine Website, die den Inhalt erst über JavaScript aufbaut. Dann ist nicht der Zugang das Problem, sondern die Lesbarkeit.
• Zugang zum Serverprotokoll, wenn Sie ihn nicht haben. Bitten Sie Ihren Hoster um einen Auszug mit den Botnamen darin.

Die ganze Übung ist eine halbe Stunde. Sie ist zusammen mit Kapitel 1 der einzige Teil dieses Leitfadens, in dem eine einzige Einstellung den Unterschied machen kann zwischen Existieren und Nichtexistieren für eine KI-Antwortmaschine.

Möchten Sie das nicht selbst machen: SEMANU führt das vollständige SEO- und GEO-Audit für 1.450 Euro durch, Bericht und Arbeitssitzung inbegriffen. Was darin steckt, steht auf der Leitfadenseite.