# Rastreadores de IA: quais robôs de IA podem ler o seu site?

Canonical URL: https://luckpanda.app/pt-br/chatbot/tools/rastreadores-de-ia
Language: pt-BR
Atualizado em 14 de outubro de 2026

Digite o endereço do seu site. A ferramenta lê o seu robots.txt e as tags robots da página e mostra, para 16 rastreadores e agentes de IA, se cada um está liberado, bloqueado em parte ou bloqueado, e por qual regra.

Ferramenta grátis: https://luckpanda.app/pt-br/chatbot/tools/rastreadores-de-ia (analyzer, website)

Agents: run it over MCP (https://luckpanda.app/mcp) with chatbot_public_tool_run { "tool": "ai-crawler-checker", "lang": "pt-br", "inputs": { … } }; chatbot_public_tool_list gives the inputs.

## O que a ferramenta de rastreadores de IA faz

> Rastreadores de IA são os robôs que empresas de IA usam para ler sites. Esta ferramenta lê o robots.txt do seu site e mostra quais deles podem ler as suas páginas: 16 rastreadores e agentes da OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance e LuckPanda. Cada um aparece como Liberado, Parcial ou Bloqueado, com a regra do robots.txt que decidiu. Ela também aponta tags noai na página.

1. **Digite o endereço.** A página inicial ou uma página que importa para você, como o blog ou a página de preços.
2. **A ferramenta lê dois arquivos.** O seu /robots.txt e a própria página, para ver a meta tag robots e o cabeçalho X-Robots-Tag.
3. **Veja o selo de cada robô.** Os robôs ficam agrupados pelo que fazem: busca com IA, treinamento de modelos, acesso a pedido de um usuário e chatbots de sites.
4. **Confira a regra aplicada.** Embaixo de cada robô aparece o grupo de user-agent que vale para ele, para você saber quais linhas editar.
5. **Edite o robots.txt e verifique de novo.** Use os exemplos abaixo, publique o arquivo e rode a verificação outra vez para confirmar.

## Busca, treinamento e acesso do usuário: três tipos de robô de IA

Hoje a maioria das empresas de IA tem mais de um robô, cada um com o seu próprio token no robots.txt. Bloquear um não bloqueia os outros, e é por isso que a diferença importa.

**Busca com IA**
- Lê as páginas para que um produto de busca com IA possa mostrá-las e linká-las nas respostas.
- Exemplos: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Se você bloqueia, as suas páginas deixam de aparecer nas respostas desse produto.

**Treinamento de modelos**
- Coleta páginas que podem ser usadas para treinar futuros modelos de IA.
- Exemplos: GPTBot, ClaudeBot, Google-Extended, CCBot.
- Bloquear tira o seu site da coleta daqui para a frente. Não desfaz o que já foi coletado.

**Acesso a pedido de um usuário**
- Visita uma página quando alguém pergunta sobre ela a um assistente ou cola o link dela.
- Exemplos: ChatGPT-User, Claude-User, Perplexity-User.
- Algumas empresas dizem que o robots.txt pode não valer para esses acessos, porque foi uma pessoa que pediu.

## Todos os robôs que a ferramenta verifica

Os tokens abaixo são os nomes que cada empresa documenta para o robots.txt. Escreva exatamente como aparecem numa linha User-agent. Maiúsculas e minúsculas não fazem diferença.

| Empresa | Token no robots.txt | O que faz | Grupo |
| --- | --- | --- | --- |
| OpenAI | OAI-SearchBot | Encontra páginas para mostrar e linkar nos resultados da busca do ChatGPT. | Busca com IA |
| OpenAI | ChatGPT-User | Visita uma página quando um usuário do ChatGPT pede. | Acesso do usuário |
| OpenAI | GPTBot | Coleta páginas que podem ser usadas para treinar os modelos da OpenAI. | Treinamento |
| Anthropic | Claude-SearchBot | Lê páginas para melhorar os resultados de busca no Claude. | Busca com IA |
| Anthropic | Claude-User | Visita uma página quando um usuário do Claude pede. | Acesso do usuário |
| Anthropic | ClaudeBot | Coleta páginas que podem ser usadas para treinar os modelos da Anthropic. | Treinamento |
| Perplexity | PerplexityBot | Indexa páginas para as respostas da busca do Perplexity. | Busca com IA |
| Perplexity | Perplexity-User | Visita uma página quando um usuário do Perplexity pergunta sobre ela. | Acesso do usuário |
| Google | Google-Extended | Um token de controle, não um robô à parte: diz se as páginas que o Googlebot coleta podem treinar os modelos Gemini. Não afeta a Busca do Google. | Treinamento |
| Apple | Applebot-Extended | Um token de controle, não um robô à parte: diz se as páginas que o Applebot coleta podem treinar os modelos de IA da Apple. | Treinamento |
| Amazon | Amazonbot | O rastreador da Amazon, usado em serviços da Amazon como as respostas da Alexa. | Busca com IA |
| DuckDuckGo | DuckAssistBot | Busca páginas para o DuckAssist, as respostas com IA do DuckDuckGo. | Busca com IA |
| Meta | meta-externalagent | O rastreador da Meta para treinar modelos de IA e melhorar os produtos da empresa. | Treinamento |
| Common Crawl | CCBot | Monta um arquivo aberto e gratuito da web, usado no treinamento de muitos modelos de IA. | Treinamento |
| ByteDance | Bytespider | O rastreador da ByteDance, usado para coletar dados para os modelos de IA da empresa. | Treinamento |
| LuckPanda | LuckPandaBot | Lê um site quando alguém monta um chatbot da LuckPanda com ele ou roda uma destas ferramentas grátis nele. | Chatbot de site |

Tokens conforme a documentação de cada empresa, conferidos em outubro de 2026. As empresas criam e renomeiam robôs, então confira a documentação delas antes de confiar numa lista.

## Como ler o resultado

- Liberado: o robô pode ler a sua página inicial e os caminhos de amostra que a ferramenta testa (/blog/, /products/, /pricing, /docs/, /help/ e a página que você informou).
- Parcial: a página inicial está liberada, mas pelo menos um desses caminhos está bloqueado. Muitas vezes é de propósito, por exemplo uma área /docs/ privada.
- Bloqueado: o robô não pode ler a página inicial. Na prática, ele fica fora do site inteiro.
- Regra aplicada: a linha user-agent do grupo que vale para o robô. Um grupo com o nome do robô tem prioridade sobre “User-agent: *”. Um robô segue um único grupo, então, depois que ele ganha um grupo próprio, as regras do * deixam de valer para ele.
- Sem robots.txt: todos os robôs aparecem como Liberado, porque nada pede que fiquem de fora, e a verificação do arquivo pede que você revise.
- Tags noai: aparecem para revisão quando a meta tag robots ou o cabeçalho X-Robots-Tag da página contém noai ou noimageai.

A ferramenta lê regras, não comportamento. Ela não enxerga um firewall, uma CDN ou uma configuração da hospedagem que barre robôs antes de chegarem ao robots.txt, e não sabe se um robô de fato obedece ao seu arquivo. Se um robô aparece como Liberado aqui mas nunca visita o site, confira também as configurações de robôs ou de segurança da sua hospedagem.

## Vale a pena bloquear os rastreadores de IA? Prós e contras

Não existe uma resposta certa para todo mundo. Depende de você querer ser encontrado em respostas de IA e do que você pensa sobre o seu conteúdo treinar modelos.

| Escolha | O que você mantém | Do que você abre mão |
| --- | --- | --- |
| Liberar tudo | A maior chance de aparecer em respostas e assistentes de IA. | As suas páginas podem ser usadas para treinar modelos. |
| Bloquear treinamento, liberar busca e acesso do usuário | Você continua podendo aparecer e ser linkado na busca com IA, e os assistentes abrem as suas páginas quando alguém pede. | Pouca coisa para a maioria dos negócios. Algumas empresas usam o mesmo robô para as duas funções, então a separação nem sempre é perfeita. |
| Bloquear também os robôs de busca | As suas páginas ficam fora desses produtos de busca com IA. | Quem pergunta a esses assistentes tem menos chance de encontrar você. |
| Bloquear tudo o que é IA | O sinal mais forte que dá para mandar pelo robots.txt. | A presença em buscas e assistentes de IA, e a opção de ter um chatbot no site montado a partir das suas páginas. |

> Dois fatos para ter em mente. O robots.txt é um pedido: os robôs bem-comportados seguem, mas nada obriga um robô a seguir. E um bloqueio só vale a partir do dia em que você o coloca. Ele não apaga o que uma empresa já coletou nem tira o conteúdo de modelos que já foram treinados.

Para ficar fora dos recursos de IA da Busca do Google, o Google-Extended não é o caminho: esses recursos usam o Googlebot, que também faz a busca normal. Os controles de trecho do Google, como o nosnippet, limitam o que ele pode mostrar, tanto nos recursos de IA quanto nos resultados comuns.

## Exemplos de robots.txt

Copie um, troque o endereço do sitemap pelo seu e publique na raiz do site, por exemplo seunegocio.com.br/robots.txt. Cada subdomínio precisa do próprio arquivo.

**Bloquear treinamento de IA, liberar busca e acesso do usuário**

```text
# Treinamento de modelos de IA: não
  User-agent: GPTBot
  User-agent: ClaudeBot
  User-agent: Google-Extended
  User-agent: Applebot-Extended
  User-agent: meta-externalagent
  User-agent: CCBot
  User-agent: Bytespider
  Disallow: /

  # Busca com IA e acessos a pedido de um usuário: sim
  User-agent: OAI-SearchBot
  User-agent: ChatGPT-User
  User-agent: Claude-SearchBot
  User-agent: Claude-User
  User-agent: PerplexityBot
  User-agent: Perplexity-User
  User-agent: DuckAssistBot
  Disallow: /checkout/
  Disallow: /minha-conta/

  # Todos os outros
  User-agent: *
  Disallow: /checkout/
  Disallow: /minha-conta/

  Sitemap: https://www.seunegocio.com.br/sitemap.xml
```

Os caminhos privados se repetem no grupo de busca com IA porque um robô que tem grupo próprio ignora as regras do *.

**Liberar todos os robôs de IA, mantendo as áreas privadas de fora**

```text
User-agent: *
  Disallow: /checkout/
  Disallow: /minha-conta/
  Disallow: /admin/

  Sitemap: https://www.seunegocio.com.br/sitemap.xml
```

**Bloquear todos os robôs de IA da lista desta página**

```text
User-agent: GPTBot
  User-agent: OAI-SearchBot
  User-agent: ChatGPT-User
  User-agent: ClaudeBot
  User-agent: Claude-SearchBot
  User-agent: Claude-User
  User-agent: PerplexityBot
  User-agent: Perplexity-User
  User-agent: Google-Extended
  User-agent: Applebot-Extended
  User-agent: Amazonbot
  User-agent: DuckAssistBot
  User-agent: meta-externalagent
  User-agent: CCBot
  User-agent: Bytespider
  Disallow: /

  User-agent: *
  Disallow: /admin/
```

Este exemplo deixa o LuckPandaBot de fora da lista, para você ainda poder montar um chatbot de site com as suas páginas. Se quiser bloqueá-lo também, inclua o nome dele.

Para conferir na mão se o GPTBot está bloqueado, abra seunegocio.com.br/robots.txt e procure um grupo que comece com “User-agent: GPTBot”. Se existir, valem as regras dele. Se não existir, valem as regras de “User-agent: *”. Uma linha “Disallow: /” no grupo que vale bloqueia o site inteiro.

## A tag noai e os limites dela

Alguns sites colocam “noai” ou “noimageai” na meta tag robots ou no cabeçalho X-Robots-Tag para dizer que o conteúdo não deve ser usado por IA.

**noai como meta tag e como cabeçalho**

```text
<meta name="robots" content="noai, noimageai">

  X-Robots-Tag: noai, noimageai
```

Esses valores não fazem parte de nenhum padrão de robôs, e poucos rastreadores documentam que os respeitam. As empresas de IA da tabela acima publicam tokens de robots.txt como forma de exclusão, então trate o noai como uma declaração da sua vontade, não como um bloqueio. Se usar, confira se não escreveu noindex junto: isso tira a página dos buscadores por completo.

## Erros comuns

- Bloquear o OAI-SearchBot quando a intenção era bloquear o GPTBot. O primeiro tira você da busca do ChatGPT; o segundo, só do treinamento.
- Publicar o robots.txt de homologação com “Disallow: /” para todos os user agents. Ele bloqueia os buscadores também.
- Um endereço de robots.txt que devolve o HTML da página inicial, o que acontece em alguns sites feitos como SPA (aplicação de página única). Os robôs não encontram regras, e a ferramenta trata como se o arquivo não existisse.
- Criar um grupo próprio para um robô e esquecer que, a partir daí, ele ignora as regras do *.
- Editar o robots.txt de www.seunegocio.com.br e esquecer de loja.seunegocio.com.br. Cada host tem o seu próprio arquivo.
- Bloquear o Googlebot para ficar fora das respostas de IA. Isso tira você da Busca do Google também.
- Esperar que um bloqueio novo tire as suas páginas de respostas que já as usam. Ele só afeta o que for coletado dali em diante.
- Ativar a opção de “bloquear robôs de IA” com um clique na hospedagem ou na CDN sem ver o que ela cobre. Algumas bloqueiam também os robôs de busca e os acessos a pedido do usuário.

## O que cada tipo de site costuma liberar

São escolhas comuns, não regras. Decida junto com quem cuida do conteúdo e do site.

| Site | Escolha comum | Por quê |
| --- | --- | --- |
| Loja virtual | Liberar busca com IA e acesso do usuário | Página de produto funciona como anúncio: ser citado numa resposta pode trazer um comprador. |
| Negócio de serviços local | Liberar busca com IA e acesso do usuário | As pessoas pedem aos assistentes um encanador, um dentista ou um professor particular perto de casa, e querem horário e preço. |
| Portal de notícias ou blog | Muitas vezes bloqueia treinamento e libera busca | O texto é o produto, mas os links da busca com IA ainda trazem leitores. |
| Empresa de software | Liberar busca e acesso do usuário para a documentação e os preços | Quem compra pede aos assistentes para comparar ferramentas e explicar a configuração. |
| Site de cursos ou área de membros | Bloquear as áreas pagas para todos os robôs | Conteúdo pago deve ficar atrás de login de qualquer forma; o robots.txt não protege nada. |

## O seu próprio chatbot de site e o robots.txt

O LuckPandaBot é o robô por trás dos agentes de site da LuckPanda. Ele lê o seu site quando alguém monta um agente com ele ou roda uma destas ferramentas grátis nele. Quando monta um agente, ele segue o seu robots.txt.

Se você bloqueia o LuckPandaBot, um agente de atendimento não consegue aprender as suas páginas, mas você ainda pode enviá-las como documentos. Se você libera, o agente lê até 50 páginas, pula o que o robots.txt ou uma tag noindex deixa de fora e responde seus visitantes com base no que leu, de dia e de noite. O agente funciona no chat do seu site. Ele não responde no WhatsApp.

**Monte um agente de atendimento com as suas páginas** Cole o endereço, veja o agente aprender o seu site e pergunte a ele o que os seus clientes perguntam. [Ver o agente de atendimento com IA](https://luckpanda.app/pt-br/chatbot/agente-de-ia-para-atendimento)

## Perguntas frequentes

### O que são rastreadores de IA?

São robôs que empresas de IA usam para ler sites. Alguns coletam páginas para treinar modelos, como o GPTBot e o ClaudeBot; outros leem páginas para mostrar em buscas com IA, como o OAI-SearchBot e o PerplexityBot; e outros abrem uma página quando alguém pede, como o ChatGPT-User. Cada um tem o seu próprio token no robots.txt.

### Como saber se o GPTBot está bloqueado?

Digite o seu endereço na ferramenta acima e veja a linha do GPTBot: Liberado, Parcial ou Bloqueado, com a regra que decidiu. Na mão, abra seusite.com.br/robots.txt e procure o grupo do GPTBot, ou o grupo * se não houver um. Um “Disallow: /” ali bloqueia o robô.

### Bloquear o GPTBot tira meu site do ChatGPT?

Não. O GPTBot coleta páginas para treinamento. A busca do ChatGPT usa o OAI-SearchBot, e as páginas que um usuário pede para o ChatGPT abrir são buscadas pelo ChatGPT-User. Se você bloqueia só o GPTBot, fica fora do treinamento futuro e continua visível na busca do ChatGPT.

### O robots.txt impede as empresas de IA de usar o meu conteúdo?

Só em parte. O robots.txt é um pedido que os robôs bem-comportados seguem. Ele vale a partir do dia em que você cria a regra e não apaga o conteúdo já coletado nem o que já foi usado em modelos treinados. Conteúdo que precisa ficar privado deve estar atrás de um login.

### Bloquear o Google-Extended prejudica meu posicionamento no Google?

O Google afirma que o Google-Extended não afeta a inclusão nem o ranqueamento na Busca do Google. Ele só controla se as páginas que o Googlebot coleta podem ser usadas nos modelos Gemini. Ele também não tira as páginas dos recursos de IA da Busca do Google, que usam o Googlebot.

### Qual a diferença entre ClaudeBot e Claude-User?

O ClaudeBot coleta páginas que podem ser usadas para treinar os modelos da Anthropic. O Claude-User visita uma página quando uma pessoa usando o Claude pergunta sobre ela. O Claude-SearchBot lê páginas para os resultados de busca no Claude. Cada um tem o seu próprio token no robots.txt.

Teste no seu site: https://luckpanda.app/chatbot/try