luckpandaEspañol (Latinoamérica)
Verificador de bots de IA: ¿qué rastreadores pueden leer tu sitio?
Escribe la dirección de tu sitio. El verificador lee tu robots.txt y las etiquetas robots de tu página, y muestra para 16 rastreadores y agentes de IA si cada uno está permitido, bloqueado en parte o bloqueado, y por qué regla.
Crea un agente de soporte a partir de tu sitio
Tu propio agente de IA responde preguntas como esta en tu sitio, de día y de noche, con tus propias páginas y documentos, y te pasa los casos difíciles. Pega tu dirección y mira cómo aprende tu sitio. Sin cuenta.
Qué hace este verificador de robots.txt
Un verificador de bots de IA lee el robots.txt de tu sitio y te dice qué rastreadores de IA pueden leer tus páginas. Este revisa 16 rastreadores y agentes de OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance y LuckPanda. Cada uno aparece como Permitido, En parte o Bloqueado, con la regla de robots.txt que lo decidió. También marca las etiquetas noai de tu página.
- Escribe tu direcciónTu página de inicio, o una página que te importe, como tu blog o tu página de precios.
- El verificador lee dos archivosTu /robots.txt y la propia página, para revisar su etiqueta meta robots y su encabezado X-Robots-Tag.
- Lee el sello de cada botLos bots están agrupados por lo que hacen: búsqueda con IA, entrenamiento de modelos, visitas por la pregunta de un usuario y chatbots de sitios web.
- Revisa la regla que aplicaDebajo de cada bot ves el grupo de user-agent que le aplica, para que sepas qué líneas editar.
- Edita robots.txt y vuelve a revisarUsa los ejemplos de abajo, publica el archivo y vuelve a correr la revisión para confirmar.
Búsqueda, entrenamiento y visitas de usuario: tres tipos de bot de IA
Hoy casi todas las empresas de IA tienen más de un bot, cada uno con su propio token en robots.txt. Bloquear uno no bloquea a los demás, y por eso importa la diferencia.
Búsqueda con IA
- Lee páginas para que un producto de búsqueda con IA las muestre y las enlace en sus respuestas.
- Ejemplos: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Si lo bloqueas, tus páginas dejan de aparecer en las respuestas de ese producto.
Entrenamiento de modelos
- Recolecta páginas que se pueden usar para entrenar futuros modelos de IA.
- Ejemplos: GPTBot, ClaudeBot, Google-Extended, CCBot.
- Bloquéalo para salirte a partir de ahora. No deshace lo que ya se recolectó.
Visitas por la pregunta de un usuario
- Visita una página cuando una persona le pregunta a un asistente por ella o pega su enlace.
- Ejemplos: ChatGPT-User, Claude-User, Perplexity-User.
- Algunas empresas dicen que robots.txt podría no aplicar a estos, porque lo pidió una persona.
Todos los bots que revisa el verificador
Los tokens de abajo son los nombres que cada empresa documenta para robots.txt. Escríbelos tal cual en una línea User-agent. No distingue mayúsculas de minúsculas.
| Empresa | Token de robots.txt | Qué hace | Grupo |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Encuentra páginas para mostrarlas y enlazarlas en los resultados de búsqueda de ChatGPT. | Búsqueda con IA |
| OpenAI | ChatGPT-User | Visita una página cuando un usuario de ChatGPT la pide. | Visita de usuario |
| OpenAI | GPTBot | Recolecta páginas que se pueden usar para entrenar los modelos de OpenAI. | Entrenamiento |
| Anthropic | Claude-SearchBot | Lee páginas para mejorar los resultados de búsqueda en Claude. | Búsqueda con IA |
| Anthropic | Claude-User | Visita una página cuando un usuario de Claude la pide. | Visita de usuario |
| Anthropic | ClaudeBot | Recolecta páginas que se pueden usar para entrenar los modelos de Anthropic. | Entrenamiento |
| Perplexity | PerplexityBot | Indexa páginas para las respuestas de búsqueda de Perplexity. | Búsqueda con IA |
| Perplexity | Perplexity-User | Visita una página cuando un usuario de Perplexity pregunta por ella. | Visita de usuario |
| Google-Extended | Un token de control, no un rastreador aparte: indica si las páginas que recolecta Googlebot se pueden usar para entrenar los modelos Gemini. No afecta la Búsqueda de Google. | Entrenamiento | |
| Apple | Applebot-Extended | Un token de control, no un rastreador aparte: indica si las páginas que recolecta Applebot se pueden usar para entrenar los modelos de IA de Apple. | Entrenamiento |
| Amazon | Amazonbot | El rastreador de Amazon, usado en servicios como las respuestas de Alexa. | Búsqueda con IA |
| DuckDuckGo | DuckAssistBot | Abre páginas para DuckAssist, las respuestas con IA de DuckDuckGo. | Búsqueda con IA |
| Meta | meta-externalagent | El rastreador de Meta para entrenar modelos de IA y mejorar sus productos. | Entrenamiento |
| Common Crawl | CCBot | Construye un archivo abierto y gratuito de la web con el que se entrenan muchos modelos de IA. | Entrenamiento |
| ByteDance | Bytespider | El rastreador web de ByteDance, usado para recolectar datos para sus modelos de IA. | Entrenamiento |
| LuckPanda | LuckPandaBot | Lee un sitio cuando alguien crea un chatbot de LuckPanda con él o corre en él una de estas herramientas gratuitas. | Chatbot de sitio web |
Tokens según la documentación de cada empresa, revisados en octubre de 2026. Las empresas agregan y renombran bots, así que revisa su documentación antes de confiar en una lista.
Cómo leer el resultado
- Permitido: el bot puede leer tu página de inicio y las rutas de muestra que prueba el verificador (/blog/, /products/, /pricing, /docs/, /help/ y la página que escribiste).
- En parte: la página de inicio está permitida, pero al menos una de esas rutas está bloqueada. Muchas veces es a propósito, por ejemplo un área privada /docs/.
- Bloqueado: el bot no puede leer tu página de inicio. En la práctica, queda fuera de todo el sitio.
- Regla que aplica: la línea user-agent del grupo que aplica. Un grupo que nombra al bot gana sobre “User-agent: *”. Un bot sigue un solo grupo, así que en cuanto tiene el suyo deja de seguir las reglas de *.
- Sin robots.txt: todos los bots aparecen como Permitido, porque nada les pide quedarse fuera, y la revisión del archivo te pide revisarlo.
- Etiquetas noai: se muestran para revisión cuando la etiqueta meta robots o el encabezado X-Robots-Tag de tu página contienen noai o noimageai.
El verificador lee reglas, no comportamiento. No puede ver un firewall, una CDN o una configuración de hosting que bloquee bots antes de que lleguen a robots.txt, y no puede saber si un bot de verdad obedece tu archivo. Si un bot aparece como Permitido aquí pero nunca te visita, revisa también la configuración de bots o de seguridad de tu hosting.
¿Conviene bloquear los rastreadores de IA? Lo que ganas y lo que pierdes
No hay una sola respuesta correcta. Depende de si quieres aparecer en las respuestas de IA y de qué te parece que tu contenido entrene modelos.
| Decisión | Lo que conservas | Lo que pierdes |
|---|---|---|
| Permitir todo | La mayor posibilidad de aparecer en respuestas y asistentes de IA. | Tus páginas se pueden usar para entrenar modelos. |
| Bloquear entrenamiento, permitir búsqueda y visitas de usuario | Puedes seguir apareciendo y siendo enlazado en la búsqueda con IA, y los asistentes pueden abrir tus páginas cuando se los piden. | Poco, para la mayoría de los negocios. Algunas empresas usan un mismo bot para las dos cosas, así que la separación no siempre es limpia. |
| Bloquear también los bots de búsqueda | Tus páginas quedan fuera de esos productos de búsqueda con IA. | Es menos probable que te encuentren quienes les preguntan a esos asistentes. |
| Bloquear toda la IA | La señal más fuerte que puedes mandar con robots.txt. | La visibilidad en búsqueda y asistentes de IA, y la opción de un chatbot creado con tus páginas. |
Dos hechos para tener en cuenta. robots.txt es una petición: los rastreadores bien portados la siguen, pero nada obliga a un bot. Y un bloqueo solo funciona desde el día en que lo agregas. No borra el contenido que una empresa ya recolectó ni lo saca de modelos ya entrenados.
Para quedar fuera de las funciones de IA en la Búsqueda de Google, Google-Extended no es el interruptor: esas funciones usan Googlebot, que también hace la búsqueda normal. Los controles de fragmentos de Google, como nosnippet, limitan lo que puede mostrar, tanto en las funciones de IA como en los resultados normales.
Ejemplos de robots.txt
Copia uno, cambia la dirección del sitemap por la tuya y publícalo en la raíz de tu sitio, por ejemplo tunegocio.com.mx/robots.txt. Cada subdominio necesita su propio archivo.
# Entrenamiento de modelos de IA: no User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / # Búsqueda con IA y visitas por la pregunta de un usuario: sí User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: DuckAssistBot Disallow: /checkout/ Disallow: /cuenta/ # Todos los demás User-agent: * Disallow: /checkout/ Disallow: /cuenta/ Sitemap: https://www.tunegocio.com.mx/sitemap.xml
Las rutas privadas se repiten en el grupo de búsqueda con IA, porque un bot que tiene su propio grupo ignora las reglas de *.
User-agent: * Disallow: /checkout/ Disallow: /cuenta/ Disallow: /admin/ Sitemap: https://www.tunegocio.com.mx/sitemap.xml
User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Amazonbot User-agent: DuckAssistBot User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: / User-agent: * Disallow: /admin/
Esto deja fuera a LuckPandaBot, para que todavía puedas crear un chatbot con tus páginas. Agrégalo a la lista si también quieres bloquearlo.
Para revisar a mano si GPTBot está bloqueado, abre tunegocio.com.mx/robots.txt y busca un grupo que empiece con “User-agent: GPTBot”. Si existe, sus reglas aplican. Si no, aplican las reglas de “User-agent: *”. Una línea “Disallow: /” en el grupo que aplica bloquea todo el sitio.
La etiqueta noai y sus límites
Algunos sitios agregan “noai” o “noimageai” a su etiqueta meta robots o a su encabezado X-Robots-Tag para decir que su contenido no debe usarse para IA.
<meta name="robots" content="noai, noimageai"> X-Robots-Tag: noai, noimageai
Estos valores no son parte de ningún estándar de robots, y pocos rastreadores documentan que los respetan. Las empresas de IA de la tabla de arriba publican tokens de robots.txt como su forma de salirse, así que trata noai como una declaración de lo que quieres, no como un bloqueo. Si lo agregas, revisa que no hayas escrito también noindex: eso saca la página por completo de los buscadores.
Errores comunes
- Bloquear OAI-SearchBot cuando querías bloquear GPTBot. El primero te saca de la búsqueda de ChatGPT; el segundo, solo del entrenamiento.
- Publicar un robots.txt de pruebas con “Disallow: /” para todos los user agents. También bloquea a los buscadores.
- Una dirección de robots.txt que devuelve el HTML de tu página de inicio, algo que pasa en algunas aplicaciones de una sola página. Los rastreadores no encuentran reglas, y el verificador lo toma como si no hubiera archivo.
- Darle a un bot su propio grupo y olvidar que entonces ignora las reglas de *.
- Editar el robots.txt de www.tunegocio.com.mx y olvidar tienda.tunegocio.com.mx. Cada host tiene su propio archivo.
- Bloquear Googlebot para no salir en respuestas de IA. También te saca de la Búsqueda de Google.
- Esperar que un bloqueo nuevo saque tus páginas de respuestas que ya las usan. Solo afecta lo que se recolecte después.
- Activar la opción de un clic para “bloquear bots de IA” de tu hosting o CDN sin revisar qué cubre. Algunas bloquean también los bots de búsqueda y las visitas de usuario.
Qué suelen permitir los sitios, según su tipo
Decisiones comunes, no reglas. Decide con quien sea responsable de tu contenido y de tu sitio web.
| Sitio | Decisión común | Por qué |
|---|---|---|
| Tienda en línea | Permitir búsqueda con IA y visitas de usuario | Las páginas de producto funcionan como anuncios: aparecer en una respuesta puede traer un comprador. |
| Negocio de servicios local | Permitir búsqueda con IA y visitas de usuario | La gente les pide a los asistentes un plomero, un dentista o un maestro cerca, y quiere horarios y precios. |
| Medio o blog | Muchas veces bloquea entrenamiento y permite búsqueda | El texto es el producto, pero los enlaces desde la búsqueda con IA siguen trayendo lectores. |
| Empresa de software | Permitir búsqueda y visitas de usuario en documentación y precios | Los compradores les piden a los asistentes que comparen herramientas y expliquen la instalación. |
| Sitio de membresías o cursos | Bloquear las áreas de pago para todos los bots | El contenido de pago debe estar detrás de un inicio de sesión de todos modos; robots.txt no lo protege. |
Tu propio chatbot y robots.txt
LuckPandaBot es el rastreador detrás de los agentes de sitio web de LuckPanda. Lee tu sitio cuando alguien crea un agente con él o corre en él una de estas herramientas gratuitas. Cuando crea un agente, sigue tu robots.txt.
Si lo bloqueas, un agente de soporte no puede aprender tus páginas, pero todavía puedes subirlas como documentos. Si lo permites, el agente lee hasta 50 páginas, se salta todo lo que robots.txt o una etiqueta noindex dejan fuera, y responde a tus visitantes en el chat de tu sitio con lo que leyó, de día y de noche.
Crea un agente de soporte con tus páginas
Pega tu dirección, mira cómo el agente aprende tu sitio y hazle las preguntas que te hacen tus clientes.
Ver el agente de soporte con IAPreguntas frecuentes
¿Cómo reviso si GPTBot está bloqueado?
Escribe tu dirección en el verificador de arriba y mira la fila de GPTBot: Permitido, En parte o Bloqueado, con la regla que lo decide. A mano, abre tusitio.com/robots.txt y busca el grupo de GPTBot, o el grupo * si no existe. Un “Disallow: /” ahí lo bloquea.
¿Bloquear GPTBot me saca de ChatGPT?
No. GPTBot recolecta páginas para entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, y las páginas que un usuario le pide abrir a ChatGPT las trae ChatGPT-User. Si bloqueas solo GPTBot, te sales del entrenamiento futuro y sigues visible en la búsqueda de ChatGPT.
¿robots.txt evita que las empresas de IA usen mi contenido?
Solo en parte. robots.txt es una petición que siguen los rastreadores bien portados. Funciona desde el día en que agregas la regla y no borra el contenido ya recolectado ni el que ya se usó en modelos entrenados. Para contenido que debe ser privado, ponlo detrás de un inicio de sesión.
¿Bloquear Google-Extended afecta mi posición en Google?
Google dice que Google-Extended no afecta la inclusión ni la posición en la Búsqueda de Google. Solo controla si las páginas que recolecta Googlebot se pueden usar para los modelos Gemini. Tampoco deja tus páginas fuera de las funciones de IA de la Búsqueda de Google, que usan Googlebot.
¿Cuál es la diferencia entre ClaudeBot y Claude-User?
ClaudeBot recolecta páginas que se pueden usar para entrenar los modelos de Anthropic. Claude-User visita una página cuando una persona que usa Claude pregunta por ella. Claude-SearchBot lee páginas para los resultados de búsqueda en Claude. Cada uno tiene su propio token en robots.txt.
¿Qué hace la etiqueta meta noai?
Declara que una página no debe usarse para IA. No es parte de ningún estándar y pocos rastreadores documentan que la respetan, así que usa reglas de robots.txt para los bots concretos que quieras detener.
Páginas relacionadas
- Analizador de visibilidad en IARevisa qué pueden leer ChatGPT, Claude y Perplexity en tu página, y cómo te describiría una IA.
- Analizador de página web para chatbotRevisa si tu sitio web le da a un chatbot lo suficiente para responder a tus clientes, y qué agregar.
- Pregunta a la IAHaz cualquier pregunta y recibe una respuesta clara del conocimiento general, de una página web o de un texto que pegues.
- Chat con PDFHazle preguntas a un PDF y recibe respuestas que citan la página. El archivo no sale de tu navegador.
- Agente de IA para atención al clienteCrea un agente de atención al cliente que responde con tus páginas y tus pedidos, dice cuando no sabe y pasa el chat a una persona.
Pruébalo en tu sitio web
Pega tu dirección y mira cómo el chatbot aprende tus páginas. Sin cuenta y sin tarjeta.