luckpandaKI-Crawler-Check: Welche KI-Crawler dürfen Ihre Website lesen?
Geben Sie die Adresse Ihrer Website ein. Der Check liest Ihre robots.txt und die Robots-Angaben Ihrer Seite und zeigt für 16 KI-Crawler und KI-Agenten, ob jeder erlaubt, teilweise gesperrt oder gesperrt ist, und durch welche Regel.
Einen Support-Agenten aus Ihrer Website erstellen
Ihr eigener KI-Agent beantwortet solche Fragen auf Ihrer Website rund um die Uhr, aus Ihren eigenen Seiten und Dokumenten, und gibt schwierige Fälle an Sie weiter. Geben Sie Ihre Adresse ein und sehen Sie zu, wie er Ihre Website lernt. Ohne Konto.
Was der KI-Crawler-Check macht
Ein KI-Crawler-Check liest die robots.txt Ihrer Website und zeigt, welche KI-Crawler Ihre Seiten lesen dürfen. Dieser prüft 16 Crawler und Agenten von OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance und LuckPanda. Jeder erscheint als „Erlaubt“, „Teilweise“ oder „Gesperrt“, mit der Regel aus der robots.txt, die das entscheidet. Außerdem meldet er noai-Tags auf Ihrer Seite.
- Adresse eingebenIhre Startseite oder eine Seite, die Ihnen wichtig ist, etwa Ihr Blog oder Ihre Preisseite.
- Der Check liest zwei DateienIhre /robots.txt und die Seite selbst, wegen ihres Robots-Meta-Tags und des X-Robots-Tag-Headers.
- Das Siegel jedes Bots lesenDie Bots sind nach ihrer Aufgabe gruppiert: KI-Suche, Modelltraining, Abrufe für die Frage eines Nutzers und Website-Chatbots.
- Die zutreffende Regel prüfenUnter jedem Bot sehen Sie die User-agent-Gruppe, die für ihn gilt. So wissen Sie, welche Zeilen Sie ändern müssen.
- robots.txt anpassen und erneut prüfenNutzen Sie die Beispiele unten, veröffentlichen Sie die Datei und starten Sie den Check noch einmal, um es zu bestätigen.
Suche, Training und Nutzerabrufe: drei Arten von KI-Bots
Die meisten KI-Anbieter betreiben inzwischen mehr als einen Bot, jeden mit eigenem Token für die robots.txt. Wer einen sperrt, sperrt die anderen nicht mit. Deshalb kommt es auf den Unterschied an.
KI-Suche
- Liest Seiten, damit ein KI-Suchprodukt sie in Antworten zeigen und verlinken kann.
- Beispiele: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Sperren Sie ihn, erscheinen Ihre Seiten nicht mehr in den Antworten dieses Produkts.
Modelltraining
- Sammelt Seiten, die für das Training künftiger KI-Modelle genutzt werden können.
- Beispiele: GPTBot, ClaudeBot, Google-Extended, CCBot.
- Eine Sperre wirkt ab sofort. Was bereits gesammelt wurde, macht sie nicht rückgängig.
Abrufe für die Frage eines Nutzers
- Besucht eine Seite, wenn jemand einen Assistenten danach fragt oder ihren Link einfügt.
- Beispiele: ChatGPT-User, Claude-User, Perplexity-User.
- Manche Anbieter erklären, dass die robots.txt hier unter Umständen nicht gilt, weil ein Mensch gefragt hat.
Alle Bots, die der Check prüft
Die Tokens unten sind die Namen, die jeder Anbieter für die robots.txt dokumentiert. Schreiben Sie sie genau so in eine User-agent-Zeile. Groß- und Kleinschreibung spielt keine Rolle.
| Anbieter | Token in robots.txt | Was er tut | Gruppe |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Findet Seiten, die in den Suchergebnissen von ChatGPT gezeigt und verlinkt werden. | KI-Suche |
| OpenAI | ChatGPT-User | Besucht eine Seite, wenn ein ChatGPT-Nutzer sie anfragt. | Nutzerabruf |
| OpenAI | GPTBot | Sammelt Seiten, die für das Training der OpenAI-Modelle genutzt werden können. | Training |
| Anthropic | Claude-SearchBot | Liest Seiten, um die Suchergebnisse in Claude zu verbessern. | KI-Suche |
| Anthropic | Claude-User | Besucht eine Seite, wenn ein Claude-Nutzer sie anfragt. | Nutzerabruf |
| Anthropic | ClaudeBot | Sammelt Seiten, die für das Training der Anthropic-Modelle genutzt werden können. | Training |
| Perplexity | PerplexityBot | Indexiert Seiten für die Suchantworten von Perplexity. | KI-Suche |
| Perplexity | Perplexity-User | Besucht eine Seite, wenn ein Perplexity-Nutzer danach fragt. | Nutzerabruf |
| Google-Extended | Ein Steuer-Token, kein eigener Crawler: legt fest, ob Seiten, die Googlebot sammelt, Gemini-Modelle trainieren dürfen. Die Google-Suche ist davon nicht betroffen. | Training | |
| Apple | Applebot-Extended | Ein Steuer-Token, kein eigener Crawler: legt fest, ob Seiten, die Applebot sammelt, die KI-Modelle von Apple trainieren dürfen. | Training |
| Amazon | Amazonbot | Der Crawler von Amazon, genutzt für Amazon-Dienste wie die Antworten von Alexa. | KI-Suche |
| DuckDuckGo | DuckAssistBot | Ruft Seiten für DuckAssist ab, die KI-Antworten von DuckDuckGo. | KI-Suche |
| Meta | meta-externalagent | Der Crawler von Meta für das Training von KI-Modellen und die Verbesserung der eigenen Produkte. | Training |
| Common Crawl | CCBot | Baut ein freies, offenes Archiv des Webs auf, mit dem viele KI-Modelle trainiert werden. | Training |
| ByteDance | Bytespider | Der Webcrawler von ByteDance, der Daten für dessen KI-Modelle sammelt. | Training |
| LuckPanda | LuckPandaBot | Liest eine Website, wenn jemand daraus einen LuckPanda-Chatbot erstellt oder eines dieser kostenlosen Tools darauf anwendet. | Website-Chatbot |
Tokens so, wie die Anbieter sie dokumentieren, Stand Oktober 2026. Anbieter ergänzen und benennen Bots um. Prüfen Sie deren Dokumentation, bevor Sie sich auf eine Liste verlassen.
So lesen Sie das Ergebnis
- Erlaubt: Der Bot darf Ihre Startseite und die Beispielpfade lesen, die der Check ausprobiert (/blog/, /products/, /pricing, /docs/, /help/ und die eingegebene Seite).
- Teilweise: Die Startseite ist erlaubt, aber mindestens einer dieser Pfade ist gesperrt. Das ist oft gewollt, etwa für einen internen Bereich /docs/.
- Gesperrt: Der Bot darf Ihre Startseite nicht lesen. Praktisch bleibt er damit der ganzen Website fern.
- Zutreffende Regel: die User-agent-Zeile der Gruppe, die gilt. Eine Gruppe, die den Bot beim Namen nennt, hat Vorrang vor „User-agent: *“. Ein Bot folgt nur einer Gruppe. Hat er eine eigene, gelten die Regeln unter * für ihn nicht mehr.
- Keine robots.txt: Jeder Bot erscheint als „Erlaubt“, weil ihn nichts ausschließt, und der Dateicheck bittet Sie, das zu prüfen.
- noai-Tags: zur Prüfung angezeigt, wenn das Robots-Meta-Tag oder der X-Robots-Tag-Header Ihrer Seite noai oder noimageai enthält.
Der Check liest Regeln, nicht das Verhalten der Bots. Eine Firewall, ein CDN oder eine Hosting-Einstellung, die Bots schon vor der robots.txt abweist, sieht er nicht, und ob ein Bot sich wirklich an Ihre Datei hält, kann er nicht feststellen. Steht ein Bot hier auf „Erlaubt“, kommt aber nie vorbei, prüfen Sie auch die Bot- und Sicherheitseinstellungen Ihres Hosters.
KI-Crawler sperren oder nicht? Die Abwägung
Eine einzige richtige Antwort gibt es nicht. Es hängt davon ab, ob Sie in KI-Antworten gefunden werden wollen und wie Sie dazu stehen, dass Ihre Inhalte Modelle trainieren.
| Entscheidung | Was Sie behalten | Was Sie aufgeben |
|---|---|---|
| Alles erlauben | Die größte Chance, in KI-Antworten und bei Assistenten aufzutauchen. | Ihre Seiten können für das Training von Modellen genutzt werden. |
| Training sperren, Suche und Nutzerabrufe erlauben | Sie können weiter in der KI-Suche erscheinen und verlinkt werden, und Assistenten können Ihre Seiten auf Nachfrage öffnen. | Für die meisten Unternehmen wenig. Manche Anbieter nutzen einen Bot für beides, die Trennung ist also nicht immer sauber. |
| Auch Such-Bots sperren | Ihre Seiten bleiben aus diesen KI-Suchprodukten heraus. | Wer diese Assistenten fragt, findet Sie seltener. |
| Jede KI sperren | Das deutlichste Signal, das Sie mit der robots.txt senden können. | Sichtbarkeit in KI-Suche und Assistenten, und die Möglichkeit, einen Website-Chatbot aus Ihren Seiten zu erstellen. |
Zwei Punkte sollten Sie im Blick behalten. Die robots.txt ist eine Bitte: Seriöse Crawler halten sich daran, zwingen kann sie keinen Bot. Und eine Sperre wirkt erst ab dem Tag, an dem Sie sie eintragen. Inhalte, die ein Anbieter schon gesammelt hat, entfernt sie nicht, und aus bereits trainierten Modellen nimmt sie sie nicht heraus.
Wer aus den KI-Funktionen der Google-Suche wie den KI-Übersichten und dem KI-Modus herausbleiben will, erreicht das nicht mit Google-Extended: Diese Funktionen nutzen Googlebot, der auch die normale Suche bedient. Die Snippet-Steuerung von Google, etwa nosnippet, begrenzt, was Google zeigen darf, in KI-Funktionen wie in den normalen Ergebnissen.
Beispiele für die robots.txt
Kopieren Sie ein Beispiel, ersetzen Sie die Sitemap-Adresse durch Ihre und veröffentlichen Sie die Datei im Hauptverzeichnis Ihrer Website, etwa unter ihr-unternehmen.de/robots.txt. Jede Subdomain braucht eine eigene Datei.
# KI-Modelltraining: nein User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / # KI-Suche und Abrufe für die Frage eines Nutzers: ja User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot Disallow: /checkout/ Disallow: /account/ # Alle anderen User-agent: * Disallow: /checkout/ Disallow: /account/ Sitemap: https://www.ihr-unternehmen.de/sitemap.xml
Die privaten Pfade stehen in der Gruppe für die KI-Suche noch einmal, weil ein Bot mit eigener Gruppe die Regeln unter * nicht beachtet.
User-agent: * Disallow: /checkout/ Disallow: /account/ Disallow: /admin/ Sitemap: https://www.ihr-unternehmen.de/sitemap.xml
User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Amazonbot User-agent: DuckAssistBot User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / User-agent: * Disallow: /admin/
LuckPandaBot fehlt hier bewusst, damit Sie weiterhin einen Website-Chatbot aus Ihren Seiten erstellen können. Nehmen Sie ihn in die Liste auf, wenn Sie auch ihn sperren wollen.
Ob GPTBot gesperrt ist, prüfen Sie auch von Hand: Öffnen Sie ihr-unternehmen.de/robots.txt und suchen Sie eine Gruppe, die mit „User-agent: GPTBot“ beginnt. Gibt es eine, gelten deren Regeln. Wenn nicht, gelten die Regeln unter „User-agent: *“. Eine Zeile „Disallow: /“ in der geltenden Gruppe sperrt die ganze Website.
Das noai-Tag und seine Grenzen
Manche Websites schreiben „noai“ oder „noimageai“ in ihr Robots-Meta-Tag oder ihren X-Robots-Tag-Header, um zu sagen, dass ihre Inhalte nicht für KI genutzt werden sollen.
<meta name="robots" content="noai, noimageai"> X-Robots-Tag: noai, noimageai
Diese Werte gehören zu keinem Robots-Standard, und nur von wenigen Crawlern ist dokumentiert, dass sie sie beachten. Die KI-Anbieter aus der Tabelle oben nennen Tokens für die robots.txt als ihren Weg zum Widerspruch. Sehen Sie noai also als Erklärung Ihres Wunsches, nicht als Sperre. Wenn Sie es setzen, achten Sie darauf, nicht zugleich noindex zu schreiben: Das nimmt die Seite ganz aus den Suchmaschinen.
Häufige Fehler
- OAI-SearchBot sperren, obwohl GPTBot gemeint war. Der erste hält Sie aus der ChatGPT-Suche heraus, der zweite nur aus dem Training.
- Eine robots.txt aus der Testumgebung mit „Disallow: /“ für alle User-Agents veröffentlichen. Sie sperrt auch die Suchmaschinen.
- Eine robots.txt-Adresse, die das HTML Ihrer Startseite liefert, wie bei manchen Single-Page-Apps. Crawler finden dann keine Regeln, und der Check wertet das als fehlende Datei.
- Einem Bot eine eigene Gruppe geben und vergessen, dass er dann die Regeln unter * nicht mehr beachtet.
- Die robots.txt auf www.ihr-unternehmen.de ändern und shop.ihr-unternehmen.de vergessen. Jeder Host hat seine eigene Datei.
- Googlebot sperren, um aus KI-Antworten herauszubleiben. Damit verschwinden Sie auch aus der Google-Suche.
- Erwarten, dass eine neue Sperre Ihre Seiten aus Antworten entfernt, die sie schon nutzen. Sie wirkt nur auf das, was künftig gesammelt wird.
- Beim Hoster oder CDN die Ein-Klick-Einstellung „KI-Bots blockieren“ aktivieren, ohne zu prüfen, was sie umfasst. Manche sperren auch Such-Bots und Nutzerabrufe.
Was Websites üblicherweise erlauben, nach Art
Übliche Entscheidungen, keine Regeln. Entscheiden Sie gemeinsam mit den Verantwortlichen für Ihre Inhalte und Ihre Website.
| Website | Übliche Entscheidung | Warum |
|---|---|---|
| Onlineshop | KI-Suche und Nutzerabrufe erlauben | Produktseiten wirken wie Werbung: Wer in einer Antwort genannt wird, gewinnt vielleicht einen Käufer. |
| Lokaler Dienstleister | KI-Suche und Nutzerabrufe erlauben | Menschen fragen Assistenten nach einem Installateur, einer Zahnarztpraxis oder Nachhilfe in der Nähe und wollen Öffnungszeiten und Preise wissen. |
| Verlag oder Blog | Oft Training sperren, Suche erlauben | Die Texte sind das Produkt, aber Links aus der KI-Suche bringen trotzdem Leser. |
| Softwareanbieter | Suche und Nutzerabrufe für Dokumentation und Preise erlauben | Käufer lassen sich von Assistenten Tools vergleichen und die Einrichtung erklären. |
| Mitglieder- oder Kursplattform | Bezahlbereiche für alle Bots sperren | Bezahlinhalte gehören ohnehin hinter eine Anmeldung; die robots.txt schützt sie nicht. |
Ihr eigener Website-Chatbot und die robots.txt
LuckPandaBot ist der Crawler hinter den Website-Agenten von LuckPanda. Er liest Ihre Website, wenn jemand daraus einen Agenten erstellt oder eines dieser kostenlosen Tools darauf anwendet. Beim Erstellen eines Agenten hält er sich an Ihre robots.txt.
Sperren Sie ihn, kann ein Support-Agent Ihre Seiten nicht lernen. Sie können sie aber als Dokumente hochladen. Erlauben Sie ihn, liest der Agent bis zu 50 Seiten, überspringt alles, was die robots.txt oder ein noindex-Tag ausschließt, und beantwortet die Fragen Ihrer Besucher aus dem Gelesenen, Tag und Nacht.
Erstellen Sie einen Support-Agenten aus Ihren Seiten
Fügen Sie Ihre Adresse ein, sehen Sie zu, wie der Agent Ihre Website lernt, und stellen Sie ihm die Fragen Ihrer Kunden.
Zum KI-Kundenservice-AgentenHäufige Fragen
Wie prüfe ich, ob GPTBot gesperrt ist?
Geben Sie Ihre Adresse oben in den Check ein und sehen Sie sich die Zeile GPTBot an: „Erlaubt“, „Teilweise“ oder „Gesperrt“, mit der Regel, die das entscheidet. Von Hand öffnen Sie ihr-unternehmen.de/robots.txt und suchen die Gruppe für GPTBot oder, wenn es keine gibt, die Gruppe *. Ein „Disallow: /“ dort sperrt ihn.
Verschwindet meine Website aus ChatGPT, wenn ich GPTBot sperre?
Nein. GPTBot sammelt Seiten für das Training. Die ChatGPT-Suche nutzt OAI-SearchBot, und Seiten, die ein Nutzer in ChatGPT öffnen lässt, ruft ChatGPT-User ab. Sperren Sie nur GPTBot, lehnen Sie künftiges Training ab und bleiben in der ChatGPT-Suche sichtbar.
Hindert die robots.txt KI-Anbieter daran, meine Inhalte zu nutzen?
Nur teilweise. Die robots.txt ist eine Bitte, an die sich seriöse Crawler halten. Sie wirkt ab dem Tag, an dem Sie die Regel eintragen, und entfernt keine Inhalte, die schon gesammelt oder in trainierten Modellen verwendet wurden. Was privat bleiben muss, gehört hinter eine Anmeldung.
Schadet eine Sperre von Google-Extended meinem Google-Ranking?
Laut Google wirkt sich Google-Extended nicht auf Aufnahme oder Ranking in der Google-Suche aus. Es regelt nur, ob Seiten, die Googlebot sammelt, für Gemini-Modelle genutzt werden dürfen. Aus den KI-Funktionen der Google-Suche hält es Seiten ebenfalls nicht heraus, denn diese nutzen Googlebot.
Was ist der Unterschied zwischen ClaudeBot und Claude-User?
ClaudeBot sammelt Seiten, die für das Training der Anthropic-Modelle genutzt werden können. Claude-User besucht eine Seite, wenn jemand in Claude danach fragt. Claude-SearchBot liest Seiten für die Suchergebnisse in Claude. Jeder hat sein eigenes Token für die robots.txt.
Was bewirkt das Meta-Tag noai?
Es erklärt, dass eine Seite nicht für KI genutzt werden soll. Es gehört zu keinem Standard, und nur von wenigen Crawlern ist dokumentiert, dass sie es beachten. Sperren Sie die Bots, die Sie fernhalten wollen, deshalb mit Regeln in der robots.txt.
Verwandte Seiten
- KI-Sichtbarkeit prüfenPrüfen Sie, was ChatGPT, Claude und Perplexity auf Ihrer Seite lesen können und wie eine KI Ihr Unternehmen beschreiben würde.
- Website-Check für ChatbotsPrüfen Sie, ob Ihre Website einem Chatbot genug liefert, um Ihre Kunden zu beantworten, und was noch fehlt.
- KI Fragen stellenStellen Sie der KI eine Frage und erhalten Sie eine klare Antwort aus Allgemeinwissen, einer Webseite oder Ihrem eigenen Text.
- Chat mit PDFStellen Sie einer PDF Fragen und erhalten Sie Antworten mit Seitenangabe. Die Datei bleibt in Ihrem Browser.
- KI-Agent für den KundenserviceErstellen Sie einen KI-Agenten für Ihren Kundenservice: Er antwortet aus Ihren Seiten und Bestelldaten und übergibt an einen Menschen.
Testen Sie es auf Ihrer Website
Geben Sie Ihre Adresse ein und sehen Sie zu, wie der Chatbot Ihre Seiten lernt. Ohne Konto und ohne Karte.
Erstellen Sie KI-Agenten für den Kundenservice und machen Sie Website-Besucher zu Kunden, auf Basis Ihrer eigenen Website. Kostenlos einrichten und testen.
Diese Seite in anderen Sprachen