luckpandaRastreadores de IA: quais robôs de IA podem ler o seu site?
Digite o endereço do seu site. A ferramenta lê o seu robots.txt e as tags robots da página e mostra, para 16 rastreadores e agentes de IA, se cada um está liberado, bloqueado em parte ou bloqueado, e por qual regra.
Crie um agente de atendimento a partir do seu site
O seu próprio agente de IA responde perguntas como esta no seu site, dia e noite, com base nas suas páginas e documentos, e passa para você os casos difíceis. Cole o endereço e veja ele aprender o seu site. Sem cadastro.
O que a ferramenta de rastreadores de IA faz
Rastreadores de IA são os robôs que empresas de IA usam para ler sites. Esta ferramenta lê o robots.txt do seu site e mostra quais deles podem ler as suas páginas: 16 rastreadores e agentes da OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance e LuckPanda. Cada um aparece como Liberado, Parcial ou Bloqueado, com a regra do robots.txt que decidiu. Ela também aponta tags noai na página.
- Digite o endereçoA página inicial ou uma página que importa para você, como o blog ou a página de preços.
- A ferramenta lê dois arquivosO seu /robots.txt e a própria página, para ver a meta tag robots e o cabeçalho X-Robots-Tag.
- Veja o selo de cada robôOs robôs ficam agrupados pelo que fazem: busca com IA, treinamento de modelos, acesso a pedido de um usuário e chatbots de sites.
- Confira a regra aplicadaEmbaixo de cada robô aparece o grupo de user-agent que vale para ele, para você saber quais linhas editar.
- Edite o robots.txt e verifique de novoUse os exemplos abaixo, publique o arquivo e rode a verificação outra vez para confirmar.
Busca, treinamento e acesso do usuário: três tipos de robô de IA
Hoje a maioria das empresas de IA tem mais de um robô, cada um com o seu próprio token no robots.txt. Bloquear um não bloqueia os outros, e é por isso que a diferença importa.
Busca com IA
- Lê as páginas para que um produto de busca com IA possa mostrá-las e linká-las nas respostas.
- Exemplos: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Se você bloqueia, as suas páginas deixam de aparecer nas respostas desse produto.
Treinamento de modelos
- Coleta páginas que podem ser usadas para treinar futuros modelos de IA.
- Exemplos: GPTBot, ClaudeBot, Google-Extended, CCBot.
- Bloquear tira o seu site da coleta daqui para a frente. Não desfaz o que já foi coletado.
Acesso a pedido de um usuário
- Visita uma página quando alguém pergunta sobre ela a um assistente ou cola o link dela.
- Exemplos: ChatGPT-User, Claude-User, Perplexity-User.
- Algumas empresas dizem que o robots.txt pode não valer para esses acessos, porque foi uma pessoa que pediu.
Todos os robôs que a ferramenta verifica
Os tokens abaixo são os nomes que cada empresa documenta para o robots.txt. Escreva exatamente como aparecem numa linha User-agent. Maiúsculas e minúsculas não fazem diferença.
| Empresa | Token no robots.txt | O que faz | Grupo |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Encontra páginas para mostrar e linkar nos resultados da busca do ChatGPT. | Busca com IA |
| OpenAI | ChatGPT-User | Visita uma página quando um usuário do ChatGPT pede. | Acesso do usuário |
| OpenAI | GPTBot | Coleta páginas que podem ser usadas para treinar os modelos da OpenAI. | Treinamento |
| Anthropic | Claude-SearchBot | Lê páginas para melhorar os resultados de busca no Claude. | Busca com IA |
| Anthropic | Claude-User | Visita uma página quando um usuário do Claude pede. | Acesso do usuário |
| Anthropic | ClaudeBot | Coleta páginas que podem ser usadas para treinar os modelos da Anthropic. | Treinamento |
| Perplexity | PerplexityBot | Indexa páginas para as respostas da busca do Perplexity. | Busca com IA |
| Perplexity | Perplexity-User | Visita uma página quando um usuário do Perplexity pergunta sobre ela. | Acesso do usuário |
| Google-Extended | Um token de controle, não um robô à parte: diz se as páginas que o Googlebot coleta podem treinar os modelos Gemini. Não afeta a Busca do Google. | Treinamento | |
| Apple | Applebot-Extended | Um token de controle, não um robô à parte: diz se as páginas que o Applebot coleta podem treinar os modelos de IA da Apple. | Treinamento |
| Amazon | Amazonbot | O rastreador da Amazon, usado em serviços da Amazon como as respostas da Alexa. | Busca com IA |
| DuckDuckGo | DuckAssistBot | Busca páginas para o DuckAssist, as respostas com IA do DuckDuckGo. | Busca com IA |
| Meta | meta-externalagent | O rastreador da Meta para treinar modelos de IA e melhorar os produtos da empresa. | Treinamento |
| Common Crawl | CCBot | Monta um arquivo aberto e gratuito da web, usado no treinamento de muitos modelos de IA. | Treinamento |
| ByteDance | Bytespider | O rastreador da ByteDance, usado para coletar dados para os modelos de IA da empresa. | Treinamento |
| LuckPanda | LuckPandaBot | Lê um site quando alguém monta um chatbot da LuckPanda com ele ou roda uma destas ferramentas grátis nele. | Chatbot de site |
Tokens conforme a documentação de cada empresa, conferidos em outubro de 2026. As empresas criam e renomeiam robôs, então confira a documentação delas antes de confiar numa lista.
Como ler o resultado
- Liberado: o robô pode ler a sua página inicial e os caminhos de amostra que a ferramenta testa (/blog/, /products/, /pricing, /docs/, /help/ e a página que você informou).
- Parcial: a página inicial está liberada, mas pelo menos um desses caminhos está bloqueado. Muitas vezes é de propósito, por exemplo uma área /docs/ privada.
- Bloqueado: o robô não pode ler a página inicial. Na prática, ele fica fora do site inteiro.
- Regra aplicada: a linha user-agent do grupo que vale para o robô. Um grupo com o nome do robô tem prioridade sobre “User-agent: *”. Um robô segue um único grupo, então, depois que ele ganha um grupo próprio, as regras do * deixam de valer para ele.
- Sem robots.txt: todos os robôs aparecem como Liberado, porque nada pede que fiquem de fora, e a verificação do arquivo pede que você revise.
- Tags noai: aparecem para revisão quando a meta tag robots ou o cabeçalho X-Robots-Tag da página contém noai ou noimageai.
A ferramenta lê regras, não comportamento. Ela não enxerga um firewall, uma CDN ou uma configuração da hospedagem que barre robôs antes de chegarem ao robots.txt, e não sabe se um robô de fato obedece ao seu arquivo. Se um robô aparece como Liberado aqui mas nunca visita o site, confira também as configurações de robôs ou de segurança da sua hospedagem.
Vale a pena bloquear os rastreadores de IA? Prós e contras
Não existe uma resposta certa para todo mundo. Depende de você querer ser encontrado em respostas de IA e do que você pensa sobre o seu conteúdo treinar modelos.
| Escolha | O que você mantém | Do que você abre mão |
|---|---|---|
| Liberar tudo | A maior chance de aparecer em respostas e assistentes de IA. | As suas páginas podem ser usadas para treinar modelos. |
| Bloquear treinamento, liberar busca e acesso do usuário | Você continua podendo aparecer e ser linkado na busca com IA, e os assistentes abrem as suas páginas quando alguém pede. | Pouca coisa para a maioria dos negócios. Algumas empresas usam o mesmo robô para as duas funções, então a separação nem sempre é perfeita. |
| Bloquear também os robôs de busca | As suas páginas ficam fora desses produtos de busca com IA. | Quem pergunta a esses assistentes tem menos chance de encontrar você. |
| Bloquear tudo o que é IA | O sinal mais forte que dá para mandar pelo robots.txt. | A presença em buscas e assistentes de IA, e a opção de ter um chatbot no site montado a partir das suas páginas. |
Dois fatos para ter em mente. O robots.txt é um pedido: os robôs bem-comportados seguem, mas nada obriga um robô a seguir. E um bloqueio só vale a partir do dia em que você o coloca. Ele não apaga o que uma empresa já coletou nem tira o conteúdo de modelos que já foram treinados.
Para ficar fora dos recursos de IA da Busca do Google, o Google-Extended não é o caminho: esses recursos usam o Googlebot, que também faz a busca normal. Os controles de trecho do Google, como o nosnippet, limitam o que ele pode mostrar, tanto nos recursos de IA quanto nos resultados comuns.
Exemplos de robots.txt
Copie um, troque o endereço do sitemap pelo seu e publique na raiz do site, por exemplo seunegocio.com.br/robots.txt. Cada subdomínio precisa do próprio arquivo.
# Treinamento de modelos de IA: não User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / # Busca com IA e acessos a pedido de um usuário: sim User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot Disallow: /checkout/ Disallow: /minha-conta/ # Todos os outros User-agent: * Disallow: /checkout/ Disallow: /minha-conta/ Sitemap: https://www.seunegocio.com.br/sitemap.xml
Os caminhos privados se repetem no grupo de busca com IA porque um robô que tem grupo próprio ignora as regras do *.
User-agent: * Disallow: /checkout/ Disallow: /minha-conta/ Disallow: /admin/ Sitemap: https://www.seunegocio.com.br/sitemap.xml
User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Amazonbot User-agent: DuckAssistBot User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / User-agent: * Disallow: /admin/
Este exemplo deixa o LuckPandaBot de fora da lista, para você ainda poder montar um chatbot de site com as suas páginas. Se quiser bloqueá-lo também, inclua o nome dele.
Para conferir na mão se o GPTBot está bloqueado, abra seunegocio.com.br/robots.txt e procure um grupo que comece com “User-agent: GPTBot”. Se existir, valem as regras dele. Se não existir, valem as regras de “User-agent: *”. Uma linha “Disallow: /” no grupo que vale bloqueia o site inteiro.
A tag noai e os limites dela
Alguns sites colocam “noai” ou “noimageai” na meta tag robots ou no cabeçalho X-Robots-Tag para dizer que o conteúdo não deve ser usado por IA.
<meta name="robots" content="noai, noimageai"> X-Robots-Tag: noai, noimageai
Esses valores não fazem parte de nenhum padrão de robôs, e poucos rastreadores documentam que os respeitam. As empresas de IA da tabela acima publicam tokens de robots.txt como forma de exclusão, então trate o noai como uma declaração da sua vontade, não como um bloqueio. Se usar, confira se não escreveu noindex junto: isso tira a página dos buscadores por completo.
Erros comuns
- Bloquear o OAI-SearchBot quando a intenção era bloquear o GPTBot. O primeiro tira você da busca do ChatGPT; o segundo, só do treinamento.
- Publicar o robots.txt de homologação com “Disallow: /” para todos os user agents. Ele bloqueia os buscadores também.
- Um endereço de robots.txt que devolve o HTML da página inicial, o que acontece em alguns sites feitos como SPA (aplicação de página única). Os robôs não encontram regras, e a ferramenta trata como se o arquivo não existisse.
- Criar um grupo próprio para um robô e esquecer que, a partir daí, ele ignora as regras do *.
- Editar o robots.txt de www.seunegocio.com.br e esquecer de loja.seunegocio.com.br. Cada host tem o seu próprio arquivo.
- Bloquear o Googlebot para ficar fora das respostas de IA. Isso tira você da Busca do Google também.
- Esperar que um bloqueio novo tire as suas páginas de respostas que já as usam. Ele só afeta o que for coletado dali em diante.
- Ativar a opção de “bloquear robôs de IA” com um clique na hospedagem ou na CDN sem ver o que ela cobre. Algumas bloqueiam também os robôs de busca e os acessos a pedido do usuário.
O que cada tipo de site costuma liberar
São escolhas comuns, não regras. Decida junto com quem cuida do conteúdo e do site.
| Site | Escolha comum | Por quê |
|---|---|---|
| Loja virtual | Liberar busca com IA e acesso do usuário | Página de produto funciona como anúncio: ser citado numa resposta pode trazer um comprador. |
| Negócio de serviços local | Liberar busca com IA e acesso do usuário | As pessoas pedem aos assistentes um encanador, um dentista ou um professor particular perto de casa, e querem horário e preço. |
| Portal de notícias ou blog | Muitas vezes bloqueia treinamento e libera busca | O texto é o produto, mas os links da busca com IA ainda trazem leitores. |
| Empresa de software | Liberar busca e acesso do usuário para a documentação e os preços | Quem compra pede aos assistentes para comparar ferramentas e explicar a configuração. |
| Site de cursos ou área de membros | Bloquear as áreas pagas para todos os robôs | Conteúdo pago deve ficar atrás de login de qualquer forma; o robots.txt não protege nada. |
O seu próprio chatbot de site e o robots.txt
O LuckPandaBot é o robô por trás dos agentes de site da LuckPanda. Ele lê o seu site quando alguém monta um agente com ele ou roda uma destas ferramentas grátis nele. Quando monta um agente, ele segue o seu robots.txt.
Se você bloqueia o LuckPandaBot, um agente de atendimento não consegue aprender as suas páginas, mas você ainda pode enviá-las como documentos. Se você libera, o agente lê até 50 páginas, pula o que o robots.txt ou uma tag noindex deixa de fora e responde seus visitantes com base no que leu, de dia e de noite. O agente funciona no chat do seu site. Ele não responde no WhatsApp.
Monte um agente de atendimento com as suas páginas
Cole o endereço, veja o agente aprender o seu site e pergunte a ele o que os seus clientes perguntam.
Ver o agente de atendimento com IAPerguntas frequentes
O que são rastreadores de IA?
São robôs que empresas de IA usam para ler sites. Alguns coletam páginas para treinar modelos, como o GPTBot e o ClaudeBot; outros leem páginas para mostrar em buscas com IA, como o OAI-SearchBot e o PerplexityBot; e outros abrem uma página quando alguém pede, como o ChatGPT-User. Cada um tem o seu próprio token no robots.txt.
Como saber se o GPTBot está bloqueado?
Digite o seu endereço na ferramenta acima e veja a linha do GPTBot: Liberado, Parcial ou Bloqueado, com a regra que decidiu. Na mão, abra seusite.com.br/robots.txt e procure o grupo do GPTBot, ou o grupo * se não houver um. Um “Disallow: /” ali bloqueia o robô.
Bloquear o GPTBot tira meu site do ChatGPT?
Não. O GPTBot coleta páginas para treinamento. A busca do ChatGPT usa o OAI-SearchBot, e as páginas que um usuário pede para o ChatGPT abrir são buscadas pelo ChatGPT-User. Se você bloqueia só o GPTBot, fica fora do treinamento futuro e continua visível na busca do ChatGPT.
O robots.txt impede as empresas de IA de usar o meu conteúdo?
Só em parte. O robots.txt é um pedido que os robôs bem-comportados seguem. Ele vale a partir do dia em que você cria a regra e não apaga o conteúdo já coletado nem o que já foi usado em modelos treinados. Conteúdo que precisa ficar privado deve estar atrás de um login.
Bloquear o Google-Extended prejudica meu posicionamento no Google?
O Google afirma que o Google-Extended não afeta a inclusão nem o ranqueamento na Busca do Google. Ele só controla se as páginas que o Googlebot coleta podem ser usadas nos modelos Gemini. Ele também não tira as páginas dos recursos de IA da Busca do Google, que usam o Googlebot.
Qual a diferença entre ClaudeBot e Claude-User?
O ClaudeBot coleta páginas que podem ser usadas para treinar os modelos da Anthropic. O Claude-User visita uma página quando uma pessoa usando o Claude pergunta sobre ela. O Claude-SearchBot lê páginas para os resultados de busca no Claude. Cada um tem o seu próprio token no robots.txt.
Páginas relacionadas
- SEO para IA: análise da páginaVeja o que ChatGPT, Claude e Perplexity conseguem ler na sua página e como uma IA descreveria o seu negócio.
- Analisar site para atendimentoVeja se o seu site tem o que um chatbot precisa para responder seus clientes, e o que falta publicar.
- Gerador de respostas com IAFaça qualquer pergunta e receba uma resposta clara, do conhecimento geral, de uma página ou de um texto que você colar.
- Chat com PDFFaça perguntas a um PDF e receba respostas que citam a página. O arquivo não sai do seu navegador.
- Agente de IA para atendimentoCrie um agente de atendimento que responde com as suas páginas e os dados dos pedidos, diz quando não sabe e passa a conversa para uma pessoa.
Teste no seu site
Cole o endereço e veja o chatbot aprender as suas páginas. Sem conta e sem cartão.