luckpandaTest robots.txt : quels robots d’IA peuvent lire votre site ?
Saisissez l’adresse de votre site. L’outil lit votre robots.txt et les balises robots de votre page, et indique pour 16 robots et agents d’IA s’ils sont autorisés, partiellement bloqués ou bloqués, et par quelle règle.
Créez un agent de support à partir de votre site
Votre propre agent IA répond à ce genre de question sur votre site, jour et nuit, à partir de vos pages et documents, et vous transmet les cas difficiles. Collez votre adresse et regardez-le apprendre votre site. Sans compte.
Ce que fait ce test robots.txt
Un test robots.txt pour l’IA lit le fichier robots.txt de votre site et vous dit quels robots d’IA ont le droit de lire vos pages. Celui-ci vérifie 16 robots et agents d’OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance et LuckPanda. Chacun apparaît comme Autorisé, Partiel ou Bloqué, avec la règle du robots.txt qui en décide. Il signale aussi les balises noai de votre page.
- Saisissez votre adresseVotre page d’accueil, ou une page qui compte pour vous, comme votre blog ou votre page de tarifs.
- L’outil lit deux fichiersVotre /robots.txt et la page elle-même, pour sa balise meta robots et son en-tête X-Robots-Tag.
- Lisez le sceau de chaque robotLes robots sont regroupés selon leur rôle : recherche IA, entraînement des modèles, visites à la demande d’un utilisateur, et chatbots de site web.
- Vérifiez la règle appliquéeSous chaque robot, vous voyez le groupe user-agent qui s’applique à lui : vous savez quelles lignes modifier.
- Modifiez le robots.txt et relancezPartez des exemples ci-dessous, publiez le fichier et relancez le test pour confirmer.
Recherche, entraînement, visites à la demande : trois sortes de robots IA
La plupart des entreprises d’IA font tourner plusieurs robots, chacun avec son propre jeton dans le robots.txt. En bloquer un ne bloque pas les autres : c’est pour cela que la différence compte.
Recherche IA
- Lit les pages pour qu’un produit de recherche IA puisse les afficher et les citer avec un lien dans ses réponses.
- Exemples : OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Bloquez-le et vos pages n’apparaissent plus dans les réponses de ce produit.
Entraînement des modèles
- Collecte des pages qui pourront servir à entraîner de futurs modèles d’IA.
- Exemples : GPTBot, ClaudeBot, Google-Extended, CCBot.
- Bloquez-le pour refuser à partir de maintenant. Cela n’efface pas ce qui a déjà été collecté.
Visites à la demande d’un utilisateur
- Ouvre une page quand une personne interroge un assistant à son sujet ou en colle le lien.
- Exemples : ChatGPT-User, Claude-User, Perplexity-User.
- Certaines entreprises indiquent que le robots.txt peut ne pas s’appliquer à ces visites, puisqu’une personne les a demandées.
Tous les robots testés
Les jetons ci-dessous sont les noms que chaque entreprise documente pour le robots.txt. Écrivez-les exactement comme ici dans une ligne User-agent. La casse n’a pas d’importance.
| Entreprise | Jeton robots.txt | Ce qu’il fait | Groupe |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Trouve des pages à afficher et à citer avec un lien dans les résultats de recherche de ChatGPT. | Recherche IA |
| OpenAI | ChatGPT-User | Ouvre une page quand un utilisateur de ChatGPT la demande. | Visite à la demande |
| OpenAI | GPTBot | Collecte des pages qui pourront servir à entraîner les modèles d’OpenAI. | Entraînement |
| Anthropic | Claude-SearchBot | Lit des pages pour améliorer les résultats de recherche dans Claude. | Recherche IA |
| Anthropic | Claude-User | Ouvre une page quand un utilisateur de Claude la demande. | Visite à la demande |
| Anthropic | ClaudeBot | Collecte des pages qui pourront servir à entraîner les modèles d’Anthropic. | Entraînement |
| Perplexity | PerplexityBot | Indexe des pages pour les réponses de recherche de Perplexity. | Recherche IA |
| Perplexity | Perplexity-User | Ouvre une page quand un utilisateur de Perplexity pose une question à son sujet. | Visite à la demande |
| Google-Extended | Un jeton de contrôle, pas un robot à part : il indique si les pages collectées par Googlebot peuvent entraîner les modèles Gemini. La recherche Google n’est pas concernée. | Entraînement | |
| Apple | Applebot-Extended | Un jeton de contrôle, pas un robot à part : il indique si les pages collectées par Applebot peuvent entraîner les modèles d’IA d’Apple. | Entraînement |
| Amazon | Amazonbot | Le robot d’Amazon, utilisé pour des services d’Amazon comme les réponses d’Alexa. | Recherche IA |
| DuckDuckGo | DuckAssistBot | Récupère des pages pour DuckAssist, les réponses IA de DuckDuckGo. | Recherche IA |
| Meta | meta-externalagent | Le robot de Meta pour entraîner des modèles d’IA et améliorer ses produits. | Entraînement |
| Common Crawl | CCBot | Construit une archive libre et ouverte du web, sur laquelle de nombreux modèles d’IA sont entraînés. | Entraînement |
| ByteDance | Bytespider | Le robot de ByteDance, qui collecte des données pour ses modèles d’IA. | Entraînement |
| LuckPanda | LuckPandaBot | Lit un site quand quelqu’un construit un chatbot LuckPanda à partir de celui-ci ou y lance l’un de ces outils gratuits. | Chatbot de site web |
Jetons tels que chaque entreprise les documente, vérifiés en octobre 2026. Les entreprises ajoutent et renomment des robots : consultez leur documentation avant de vous fier à une liste.
Comment lire le résultat
- Autorisé : le robot peut lire votre page d’accueil et les chemins d’exemple que l’outil essaie (/blog/, /products/, /pricing, /docs/, /help/ et la page saisie).
- Partiel : la page d’accueil est autorisée, mais au moins un de ces chemins est interdit. C’est souvent voulu, par exemple pour un espace /docs/ privé.
- Bloqué : le robot ne peut pas lire votre page d’accueil. En pratique, il est tenu à l’écart de tout le site.
- Règle appliquée : la ligne user-agent du groupe qui s’applique. Un groupe qui nomme le robot l’emporte sur « User-agent: * ». Un robot ne suit qu’un seul groupe : dès qu’il a le sien, les règles sous * ne s’appliquent plus à lui.
- Pas de robots.txt : tous les robots apparaissent Autorisé, puisque rien ne leur demande de rester dehors, et la vérification du fichier vous invite à y regarder de plus près.
- Balises noai : signalées pour vérification quand la balise meta robots ou l’en-tête X-Robots-Tag de votre page contient noai ou noimageai.
L’outil lit des règles, pas des comportements. Il ne voit pas un pare-feu, un CDN ou un réglage d’hébergement qui bloque les robots avant même le robots.txt, et il ne peut pas savoir si un robot respecte réellement votre fichier. Si un robot apparaît Autorisé ici mais ne passe jamais, regardez aussi les réglages de robots et de sécurité de votre hébergeur.
Faut-il bloquer les robots d’IA ? Le pour et le contre
Il n’y a pas de bonne réponse unique. Cela dépend de votre envie d’apparaître dans les réponses des IA, et de ce que vous pensez de l’utilisation de votre travail pour entraîner des modèles.
| Choix | Ce que vous gardez | Ce que vous perdez |
|---|---|---|
| Tout autoriser | Les meilleures chances d’apparaître dans les réponses des IA et des assistants. | Vos pages peuvent servir à entraîner des modèles. |
| Bloquer l’entraînement, autoriser la recherche et les visites à la demande | Vous pouvez toujours apparaître et être cité avec un lien dans la recherche IA, et les assistants peuvent ouvrir vos pages quand on le leur demande. | Peu de chose pour la plupart des entreprises. Certaines entreprises d’IA utilisent un seul robot pour les deux usages : la séparation n’est pas toujours nette. |
| Bloquer aussi les robots de recherche | Vos pages restent en dehors de ces produits de recherche IA. | Les personnes qui interrogent ces assistants ont moins de chances de vous trouver. |
| Bloquer toute l’IA | Le signal le plus fort que vous puissiez envoyer avec un robots.txt. | La visibilité dans la recherche IA et les assistants, et la possibilité d’un chatbot de site construit à partir de vos pages. |
Deux points à garder en tête. Le robots.txt est une demande : les robots bien élevés la respectent, mais rien n’y oblige un robot. Et un blocage ne vaut qu’à partir du jour où vous l’ajoutez : il ne retire pas ce qu’une entreprise a déjà collecté, ni ce qui se trouve dans des modèles déjà entraînés.
Pour rester en dehors des fonctions IA de la recherche Google, Google-Extended n’est pas le bon levier : ces fonctions utilisent Googlebot, qui sert aussi à la recherche classique. Les contrôles d’extraits de Google, comme nosnippet, limitent ce qu’il peut afficher, dans les fonctions IA comme dans les résultats habituels.
Exemples de robots.txt
Copiez-en un, remplacez l’adresse du sitemap par la vôtre et publiez-le à la racine de votre site, par exemple votreboutique.fr/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
# Entraînement des modèles d’IA : non User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / # Recherche IA et visites à la demande d’un utilisateur : oui User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot Disallow: /panier/ Disallow: /mon-compte/ # Tous les autres User-agent: * Disallow: /panier/ Disallow: /mon-compte/ Sitemap: https://www.votreboutique.fr/sitemap.xml
Les chemins privés sont répétés dans le groupe de la recherche IA, car un robot qui a son propre groupe ignore les règles sous *.
User-agent: * Disallow: /panier/ Disallow: /mon-compte/ Disallow: /admin/ Sitemap: https://www.votreboutique.fr/sitemap.xml
User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Amazonbot User-agent: DuckAssistBot User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / User-agent: * Disallow: /admin/
LuckPandaBot n’y figure pas : vous pouvez donc toujours construire un chatbot de site à partir de vos pages. Ajoutez-le à la liste si vous voulez le bloquer aussi.
Pour vérifier à la main si GPTBot est bloqué, ouvrez votreboutique.fr/robots.txt et cherchez un groupe qui commence par « User-agent: GPTBot ». S’il existe, ce sont ses règles qui s’appliquent. Sinon, ce sont celles sous « User-agent: * ». Une ligne « Disallow: / » dans le groupe qui s’applique bloque tout le site. Un robots.txt checker comme celui de cette page fait cette lecture pour les 16 robots à la fois.
La balise noai et ses limites
Certains sites ajoutent « noai » ou « noimageai » à leur balise meta robots ou à leur en-tête X-Robots-Tag pour indiquer que leur contenu ne doit pas servir à l’IA.
<meta name="robots" content="noai, noimageai"> X-Robots-Tag: noai, noimageai
Ces valeurs ne font partie d’aucune norme robots, et peu de robots sont documentés comme les respectant. Les entreprises d’IA du tableau ci-dessus publient des jetons robots.txt comme moyen de refus : voyez noai comme l’expression de votre souhait, pas comme un blocage. Si vous l’ajoutez, vérifiez que vous n’avez pas aussi écrit noindex : cela retirerait complètement la page des moteurs de recherche.
Les erreurs courantes
- Bloquer OAI-SearchBot alors que vous visiez GPTBot. Le premier vous exclut de la recherche de ChatGPT, le second seulement de l’entraînement.
- Mettre en ligne le robots.txt du site de test, avec « Disallow: / » pour tous les user-agents. Il bloque aussi les moteurs de recherche.
- Une adresse robots.txt qui renvoie le HTML de la page d’accueil, ce qui arrive sur certaines applications monopages. Les robots n’y trouvent aucune règle, et l’outil considère qu’il n’y a pas de fichier.
- Donner son propre groupe à un robot en oubliant qu’il ignore alors les règles sous *.
- Modifier le robots.txt de www.votreboutique.fr et oublier boutique.votreboutique.fr. Chaque hôte a son propre fichier.
- Bloquer Googlebot pour rester en dehors des réponses IA. Cela vous retire aussi de la recherche Google.
- Croire qu’un nouveau blocage retire vos pages des réponses qui les utilisent déjà. Il ne concerne que ce qui sera collecté ensuite.
- Activer l’option « bloquer les robots IA » en un clic de votre hébergeur ou de votre CDN sans vérifier ce qu’elle couvre. Certaines bloquent aussi les robots de recherche et les visites à la demande.
Ce que les sites autorisent en général, selon leur type
Des choix courants, pas des règles. Décidez avec la personne responsable de vos contenus et de votre site.
| Site | Choix courant | Pourquoi |
|---|---|---|
| Boutique en ligne | Autoriser la recherche IA et les visites à la demande | Les fiches produit fonctionnent comme des annonces : être cité dans une réponse peut amener un acheteur. |
| Commerce ou artisan local | Autoriser la recherche IA et les visites à la demande | On demande aux assistants un plombier, un dentiste ou un professeur à proximité, avec ses horaires et ses prix. |
| Éditeur de contenu ou blog | Souvent bloquer l’entraînement, autoriser la recherche | Les textes sont le produit, mais les liens depuis la recherche IA amènent encore des lecteurs. |
| Éditeur de logiciel | Autoriser la recherche et les visites à la demande pour la documentation et les tarifs | Les acheteurs demandent aux assistants de comparer des outils et d’expliquer leur mise en place. |
| Site de membres ou de formation | Bloquer les espaces payants pour tous les robots | Un contenu payant doit de toute façon être derrière une connexion : le robots.txt ne le protège pas. |
Votre propre chatbot de site et le robots.txt
LuckPandaBot est le robot derrière les agents de site web de LuckPanda. Il lit votre site quand quelqu’un construit un agent à partir de celui-ci ou y lance l’un de ces outils gratuits. Quand il construit un agent, il respecte votre robots.txt.
Si vous le bloquez, un agent de support ne peut pas apprendre vos pages, mais vous pouvez toujours les importer comme documents. Si vous l’autorisez, l’agent lit jusqu’à 50 pages, ignore tout ce que le robots.txt ou une balise noindex écarte, et répond à vos visiteurs à partir de ce qu’il a lu, de jour comme de nuit.
Construisez un agent de support à partir de vos pages
Collez votre adresse, regardez l’agent apprendre votre site et posez-lui les questions de vos clients.
Voir l’agent IA de service clientQuestions fréquentes
Comment tester mon robots.txt pour savoir si GPTBot est bloqué ?
Saisissez votre adresse dans l’outil ci-dessus et regardez la ligne GPTBot : Autorisé, Partiel ou Bloqué, avec la règle qui en décide. À la main, ouvrez votreboutique.fr/robots.txt et cherchez le groupe de GPTBot, ou le groupe * s’il n’y en a pas. Un « Disallow: / » dans ce groupe le bloque.
Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Non. GPTBot collecte des pages pour l’entraînement. La recherche de ChatGPT utilise OAI-SearchBot, et les pages qu’un utilisateur demande à ChatGPT d’ouvrir sont récupérées par ChatGPT-User. Bloquez seulement GPTBot : vous refusez l’entraînement futur tout en restant visible dans la recherche de ChatGPT.
Le robots.txt empêche-t-il les IA d’utiliser mon contenu ?
En partie seulement. Le robots.txt est une demande que les robots bien élevés respectent. Il vaut à partir du jour où vous ajoutez la règle, et ne retire pas ce qui a déjà été collecté ou utilisé dans des modèles entraînés. Un contenu qui doit rester privé doit être derrière une connexion.
Bloquer Google-Extended nuit-il à mon référencement Google ?
Google indique que Google-Extended n’a pas d’effet sur la présence ou le classement dans la recherche Google. Il contrôle seulement si les pages collectées par Googlebot peuvent servir aux modèles Gemini. Il n’écarte pas non plus vos pages des fonctions IA de la recherche Google, qui utilisent Googlebot.
Quelle différence entre ClaudeBot et Claude-User ?
ClaudeBot collecte des pages qui pourront servir à entraîner les modèles d’Anthropic. Claude-User ouvre une page quand une personne qui utilise Claude pose une question à son sujet. Claude-SearchBot lit des pages pour les résultats de recherche dans Claude. Chacun a son propre jeton dans le robots.txt.
À quoi sert la balise meta noai ?
Elle indique qu’une page ne doit pas servir à l’IA. Elle ne fait partie d’aucune norme et peu de robots sont documentés comme la respectant : utilisez plutôt des règles robots.txt pour les robots précis que vous voulez arrêter.
Pages associées
- Audit GEO gratuitVérifiez ce que ChatGPT, Claude et Perplexity peuvent lire sur votre page, et comment une IA décrirait votre activité.
- Analyse de site web pour chatbotVérifiez si votre site donne à un chatbot de quoi répondre à vos clients, et ce qu’il faut ajouter.
- IA question-réponsePosez une question et obtenez une réponse claire, tirée de connaissances générales, d’une page web ou d’un texte que vous collez.
- Chat PDFPosez vos questions à un PDF et obtenez des réponses qui citent la page. Le fichier reste dans votre navigateur.
- Agent IA de service clientCréez un agent IA de service client : il répond à partir de vos pages d’aide et de vos commandes en temps réel, dit quand il ne sait pas et passe la main à une personne.
Essayez-le sur votre site
Collez votre adresse et regardez le chatbot apprendre vos pages. Sans compte ni carte bancaire.
Créez des agents de service client et transformez les visiteurs de votre site en clients, à partir de votre propre site. Gratuit à configurer et à tester.
Cette page dans d’autres langues