Findet ChatGPT deine Website?
Teilweise. Ob ChatGPT deine Seite abrufen darf, entscheidest du selbst über deine robots.txt, und das kannst du in zwei Minuten nachsehen. Ob ChatGPT dich in einer konkreten Antwort dann auch nennt, entscheidet OpenAI, und darauf hat niemand Zugriff. Wer dir das Gegenteil verspricht, verkauft dir etwas, das er nicht liefern kann.
Die Frage kommt inzwischen in fast jedem Erstgespräch. Sie ist berechtigt, und sie lässt sich beantworten, ohne zu raten. Was du steuern kannst, ist nachprüfbar. Was du nicht steuern kannst, sagen wir auch.
Zwei Sorten Bots, und der Unterschied kostet Geld
Wenn über „KI-Crawler“ geredet wird, sind meist zwei völlig verschiedene Dinge gemeint. Antwort-Crawler holen deine Seite in dem Moment, in dem jemand eine Frage stellt oder ein Suchindex gebaut wird, und verlinken dich in der Antwort. Trainings-Crawler sammeln Text für das nächste Modell und verlinken nichts.
Der teuerste Fehler in diesem Thema entsteht aus dieser Verwechslung: Jemand liest, dass „die KI sich am Content bedient“, sperrt in der robots.txt pauschal alles, was nach KI aussieht, und verschwindet damit aus den Antworten, die ihm Kunden gebracht hätten. Die Trainings-Crawler zu sperren, ist eine legitime Entscheidung. Die Antwort-Crawler mit zu sperren, ist fast immer ein Versehen.
| Kennung | Betreiber | Wozu |
|---|---|---|
| OAI-SearchBot | OpenAI | Antwort und Zitat in der ChatGPT-Suche |
| ChatGPT-User | OpenAI | Abruf, wenn ein Nutzer gerade fragt |
| GPTBot | OpenAI | Training |
| PerplexityBot | Perplexity | Antwort und Zitat |
| Perplexity-User | Perplexity | Abruf, wenn ein Nutzer gerade fragt |
| Claude-SearchBot | Anthropic | Antwort und Zitat |
| Claude-User | Anthropic | Abruf, wenn ein Nutzer gerade fragt |
| ClaudeBot | Anthropic | Training |
| Google-Extended | Training für Gemini-Apps und Vertex AI |
Zwei Minuten: sieh selbst nach
Ruf deine-domain.de/robots.txt im Browser auf. Was du dort siehst, ist alles, was ein Bot als Anweisung bekommt.
Gefährlich ist genau ein Muster: eine Gruppe, die für deinen Bot gilt, und darin ein Disallow auf den einzelnen Schrägstrich. Das sperrt die ganze Domain. Ein Disallow auf einen einzelnen Pfad wie /intern/ ist dagegen völlig normal und stört niemanden.
Es gilt immer die spezifischste Gruppe: Steht irgendwo ausdrücklich der Name deines Bots, zählt nur diese Gruppe, und der Stern wird für ihn ignoriert. Das ist die Stelle, an der Auswertungen von Hand am häufigsten danebenliegen.
- Alles offen: User-agent: * gefolgt von Allow: /
- Alles gesperrt: eine Gruppe mit Disallow: / bedeutet, für die dort genannten Bots ist die Domain zu
- Teilweise: Disallow mit einem konkreten Pfad, etwa /wp-admin/, ist unbedenklich
- Gar keine robots.txt: dann ist nichts gesperrt, das ist in Ordnung
Lesen dürfen reicht nicht: lesen können
Der zweite Grund, aus dem eine Seite in Antworten nicht vorkommt, hat mit Erlaubnis nichts zu tun. Antwort-Crawler führen in aller Regel kein JavaScript aus. Was erst im Browser zusammengesetzt wird, existiert für sie nicht.
Bei modernen Baukästen und bei React-Anwendungen ohne Server-Rendering steht im ausgelieferten HTML manchmal kaum mehr als ein leeres div. Ein Mensch sieht eine fertige Seite, der Bot sieht nichts. Prüfen kannst du das ohne Werkzeug: Rechtsklick, Seitenquelltext anzeigen, und dann im Quelltext nach einem Satz suchen, den du auf der Seite liest. Findest du ihn nicht, findet ihn der Bot auch nicht.
Dasselbe gilt für Bilder. Ein Bot ohne JavaScript sieht nur das, was als alt-Text im HTML steht. Auf unserer eigenen Startseite waren fünf von sechs Bildern ohne Alt-Text, weil ein Poster-Bild im noscript-Block ein leeres alt hatte. Aufgefallen ist es erst, als wir unser eigenes Prüfwerkzeug auf die eigene Seite losgelassen haben.
Was du sonst noch tun kannst, und was es bringt
Strukturierte Daten nach Schema.org sagen einer Maschine ohne Raten, was dein Betrieb anbietet, wo er sitzt und wann er geöffnet hat. Das ist seit Jahren Standard für die klassische Suche und hilft hier aus demselben Grund.
Eine llms.txt ist eine kurze Markdown-Datei im Wurzelverzeichnis, die dein Angebot zusammenfasst. Ehrlich dazu: Das ist ein Vorschlag von Jeremy Howard aus dem September 2024 und kein von einem Gremium verabschiedeter Standard. Niemand garantiert, dass ein Modell sie liest. Sie kostet fast nichts, Chromes Lighthouse prüft inzwischen darauf, und OpenAI, Anthropic und Google pflegen selbst eine für ihre Dokumentation.
Und der Teil, der am wenigsten nach Technik klingt und am meisten bringt: Beantworte die Fragen deiner Kunden auf deiner Seite, in ganzen Sätzen, an einer Stelle. Ein Modell zitiert einen Absatz, der eine Frage sauber beantwortet. Aus einer Stichwortwolke kann es nichts machen.
Was niemand seriös behaupten kann
Wie groß der Anteil der Suchen ist, die im deutschsprachigen Raum über KI-Antworten laufen, weiß öffentlich niemand. Es kursieren Zahlen, aber keine davon hat eine überprüfbare Grundlage. Wer dir eine nennt, hat sie geschätzt.
Ebenso wenig lässt sich zusagen, dass ein bestimmtes Modell deine Firma empfiehlt. Es gibt keinen Zugriff auf die Auswahl der Quellen, und die Antworten schwanken von Tag zu Tag. Prüfen kannst du zwei Dinge: die technische Seite, und ob dieselbe Frage vor drei Monaten anders beantwortet wurde als heute.
Was dabei noch aufkommt.
Soll ich die Trainings-Crawler sperren?
Das ist eine Abwägung, keine Regel. Sie bringen keine Klicks, weil sie nichts verlinken. Wer eigene Inhalte hat, die er nicht in fremden Modellen sehen will, sperrt sie. Wer vor allem gefunden werden will, lässt sie laufen. Wichtig ist nur, dabei nicht die Antwort-Crawler mit abzuräumen.
Bringt eine llms.txt messbar etwas?
Das lässt sich derzeit nicht sauber belegen. Sie ist billig und schadet nicht, deshalb ist sie sinnvoll. Wer dir eine Wirkung in Zahlen verspricht, hat sie sich ausgedacht.
Reicht es, wenn ich bei Google gut ranke?
Nicht automatisch. Eine KI-Antwort ist keine Ergebnisliste. Sauberes technisches SEO ist die Voraussetzung, aber Platz drei bei Google garantiert keine Erwähnung in einer Antwort, die jemand anderes formuliert.