Rastreadores de IA: cómo controlar GPTBot, ClaudeBot, OAI-SearchBot y el resto

En resumen: los rastreadores de IA son de tres tipos. Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) deciden si ChatGPT, Claude y Perplexity pueden encontrar y citar tus páginas. Los de entrenamiento (GPTBot, ClaudeBot, CCBot) y los tokens de control (Google-Extended, Applebot-Extended) deciden si tu contenido puede servir para entrenar futuros modelos. Los fetchers de usuario (ChatGPT-User, Claude-User, Perplexity-User) visitan una página porque una persona preguntó por ella. Permite los rastreadores de búsqueda si quieres aparecer en las respuestas de IA, decide el entrenamiento por separado y revisa tu firewall, porque una regla del CDN puede bloquearlos a todos aunque el robots.txt diga "allow".

Un propietario de un sitio añade Disallow: / para GPTBot, para quedar fuera de los datos de entrenamiento, y cree que ya está todo hecho. Mientras tanto, la protección anti-bots del CDN responde con un 403 a cualquier user agent de IA, así que ChatGPT search, Claude y Perplexity no ven el sitio en absoluto. O al revés: el robots.txt bloquea todo lo relacionado con IA, incluidos los rastreadores de búsqueda que habrían citado a la empresa en sus respuestas.

Ambos errores nacen de tratar a los "rastreadores de IA" como una sola cosa. No lo son, y cada proveedor documenta sus bots por separado. Esta guía explica qué hace cada rastreador, las tres capas que deciden si un rastreador consigue de verdad tu contenido, cómo los prueba nuestro verificador de rastreadores de IA gratuito y cómo solucionar cada problema que puede informar.

Los tres tipos de rastreador de IA

Todos los grandes proveedores de IA separan hoy sus bots por finalidad. La tabla siguiente sigue la documentación de cada proveedor a octubre de 2026.

Fuentes: OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl.

Tres detalles de esa documentación cambian la forma de escribir las reglas:

• Las funciones de IA de Google funcionan con Googlebot. AI Overviews y AI Mode usan el índice normal de Search. Google dice que una página debe estar indexada y ser apta para mostrarse con fragmento, sin requisitos técnicos adicionales (AI features and your website). Google-Extended "no afecta a la inclusión de un sitio en Google Search ni se usa como señal de posicionamiento". Bloquearlo es una decisión sobre entrenamiento y grounding de Gemini, no sobre Search.
• Applebot recurre a las reglas de Googlebot. Apple indica que si tu robots.txt no menciona a Applebot pero sí a Googlebot, Applebot sigue las instrucciones de Googlebot. Por tanto, un bloqueo solo a Googlebot también te oculta de Siri, Spotlight y las sugerencias de Safari.
• Los cambios no son inmediatos. OpenAI dice que pueden pasar unas 24 horas tras actualizar el robots.txt hasta que OAI-SearchBot se ajuste, y Perplexity indica hasta 24 horas.

Por qué importa el acceso de los rastreadores de IA

Un asistente solo puede citar una página que haya podido leer. Si OAI-SearchBot no puede acceder a tu página de precios, ChatGPT search responderá a "cuánto cuesta X" con la página de otro sobre ti, que puede ser un revendedor, una reseña antigua o una comparativa de la competencia. Lo mismo vale para Claude y Perplexity.

El entrenamiento es otra cuestión, sin una única respuesta correcta. Algunos editores bloquean los rastreadores de entrenamiento para proteger contenido de pago; muchas empresas de software los permiten porque quieren que los futuros modelos conozcan su producto. Lo importante es que la decisión sea deliberada y que no arrastre consigo a los rastreadores de búsqueda. Nuestra guía de generative engine optimization cubre lo que ocurre después del acceso: cómo eligen y citan fuentes los asistentes.

Tres capas deciden si un rastreador obtiene tu contenido

1. robots.txt

robots.txt es lo primero que lee un rastreador que se porta bien. Según el RFC 9309, el rastreador busca el grupo cuyo User-agent coincide con su token de producto (sin distinguir mayúsculas), combina todos los grupos que coinciden y recurre al grupo * solo si ningún grupo lo nombra. Gana la regla más específica, la de la ruta coincidente más larga, y cuando una regla allow y una disallow tienen la misma especificidad, debe usarse allow.

Ese recurso al grupo * es de donde vienen la mayoría de las sorpresas. Un archivo con solo esto:

User-agent: *
Disallow: /

bloquea a todos los rastreadores de IA, a Googlebot y a Bingbot por igual. Un archivo con un grupo para GPTBot y un grupo * le da a GPTBot únicamente su propio grupo; ignora por completo las reglas de *, lo cual importa si ahí has puesto disallows importantes.

2. El firewall, el CDN o el hosting

Una petición puede ser rechazada antes de consultar el robots.txt. Los productos de protección anti-bots, los firewalls de aplicaciones web (WAF) y algunos hostings comparan user agents y responden 403, muestran una página de desafío o limitan la tasa con 429. Google señala que las respuestas 429 y 5xx hacen que sus rastreadores reduzcan el ritmo (HTTP status codes and Google Search), y los rastreadores de IA se topan con los mismos muros.

Cloudflare es el caso más habitual. Su ajuste original "Block AI bots", que según la documentación de Cloudflare dejará de usarse el 15 de septiembre de 2026, bloqueaba los bots verificados clasificados como rastreadores para entrenamiento de IA. Fue sustituido por las políticas de tráfico de bots de IA con tres preajustes, Search, Agent y Training, cada uno de los cuales puede permitirse, bloquearse en todas las páginas o bloquearse solo en las páginas que muestran anuncios (Cloudflare changelog). Para dominios nuevos a partir del 15 de septiembre de 2026, los valores por defecto de Cloudflare bloquean los bots Training y Agent en las páginas con anuncios mientras Search sigue permitido, y Cloudflare advierte de que los rastreadores multipropósito que combinan búsqueda y entrenamiento se ven afectados por el bloqueo de entrenamiento. Los ejemplos de Cloudflare para el preajuste Agent incluyen bots de consulta de chat, así que revisa ese ajuste si quieres que funcionen las consultas solicitadas por usuarios como ChatGPT-User.

3. Renderizado

Incluso cuando un rastreador recibe una respuesta 200, puede que no ejecute tu JavaScript. Vercel analizó el tráfico de rastreadores de IA en su red en diciembre de 2024 e informó de que "ninguno de los principales rastreadores de IA renderiza JavaScript actualmente", citando a GPTBot, ClaudeBot y PerplexityBot (The rise of the AI crawler). Si tu texto lo inyecta una aplicación del lado del cliente, esos rastreadores reciben una carcasa vacía.

Cómo funciona el verificador de rastreadores de IA de Searvia

El verificador de rastreadores de IA usa el mismo motor que nuestro analizador SEO de sitios web: introduces un dominio o la dirección de una página, lee esa página y los archivos del sitio que la rodean, y ejecuta 38 comprobaciones en unos 20 segundos. Las tres comprobaciones de esta herramienta aparecen primero en un recuadro destacado, con la primera desplegada. Todo lo que sigue describe lo que el código hace realmente.

Qué página. El verificador audita la dirección exacta que introduces, o la página de inicio si solo pones un dominio; robots.txt y otros archivos del sitio se leen siempre desde el dominio. Prueba primero https:// y recurre a http://, sigue hasta seis redirecciones y se identifica como SearviaBot/1.0 en la visita normal.

Acceso de rastreadores de IA (prioridad alta). Descarga /robots.txt del host final. Un 404 u otro 4xx significa que no hay archivo, así que todo está permitido. Un 5xx, un 429 o un error de conexión significa que el archivo no es accesible: cada token muestra entonces "Desconocido" y la comprobación falla, porque el RFC 9309 indica a los rastreadores que traten el sitio como totalmente bloqueado. Un 200 que devuelve una página HTML no es un robots.txt válido. Para cada uno de los 10 tokens de rastreador y los 2 tokens de exclusión del entrenamiento, elige el grupo que nombra el token, o el grupo * si ninguno lo hace, y plantea una sola pregunta: ¿puede este token acceder a la ruta de la página que introdujiste (/ para la página de inicio)? Usa la regla de la coincidencia más larga con los empates a favor de allow, entiende los comodines * y $, los comentarios, varias líneas User-agent que comparten un mismo conjunto de reglas y grupos repetidos para el mismo token.

Googlebot y Bingbot están en la columna de búsqueda porque las funciones de IA de Google funcionan con Googlebot y Microsoft Copilot fundamenta sus respuestas en Bing. Google-Extended y Applebot-Extended nunca visitan tu sitio; una regla para ellos solo controla si el contenido que Googlebot o Applebot ya rastrearon puede usarse para entrenar IA. Cada fila muestra Permitido, Bloqueado o Desconocido.

La prueba del firewall. A continuación, el verificador solicita la misma página una vez más con el user agent que OpenAI documenta para GPTBot (GPTBot/1.4), sin seguir redirecciones. Si la visita normal tuvo éxito (estado inferior a 400) pero esta petición recibe 401, 403, 429 o 503, el informe avisa de que se rechazaron las peticiones que se identifican como GPTBot. La petición no procede de las direcciones IP de OpenAI, así que el rastreador real podría recibir un trato distinto.

Contenido sin JavaScript (prioridad media). Cuenta las palabras del texto principal en el HTML sin procesar, excluyendo menús y pies de página. Si hay menos de 80 palabras y la página tiene un contenedor de aplicación vacío (<div id="root">, app, __next, __nuxt o svelte) o carga tres o más scripts externos, avisa de que los rastreadores que no ejecutan JavaScript pueden ver una página vacía.

robots.txt (prioridad media). La tercera comprobación destacada indica si existe robots.txt, si responde con un error del servidor o con una página HTML, y si bloquea a Googlebot en la página de inicio o en la página que introdujiste. Nuestra guía de robots.txt trata ese archivo en profundidad.

Reglas de estado. El acceso de rastreadores de IA falla si cualquiera de los siete tokens de búsqueda está bloqueado o no se puede acceder al robots.txt. Una prueba de firewall rechazada da una advertencia. Los rastreadores de entrenamiento y los tokens de exclusión bloqueados se enumeran, pero la comprobación sigue superándose, porque es una elección legítima.

Qué no prueba el verificador

Conocer los límites evita que interpretes de más un resultado en verde:

• Una ruta por ejecución. Solo se prueba la ruta de la página que introduces (/ para un dominio sin ruta). Una regla como Disallow: /pricing/ para OAI-SearchBot solo se detecta si introduces esa página. Lee tu archivo para ver bloqueos a nivel de sección.
• La prueba del firewall usa un solo user agent desde nuestros servidores. Envía el nombre de GPTBot, no el de OAI-SearchBot, y no procede de las IP de OpenAI. Un firewall que verifica los bots por IP puede bloquear nuestra petición como impostora y dejar pasar al GPTBot real, y un firewall que bloquea los rangos de IP de OpenAI pero no el user agent supera nuestra prueba. Trata una advertencia de firewall como "revisa tu configuración de bots" y luego confírmalo en los logs.
• Los tokens que no están en la lista, como Perplexity-User u OAI-AdsBot, no se prueban.

Cómo leer el resultado

La tabla bajo la fila de rastreadores de IA muestra cada token como Permitido, Bloqueado o Desconocido, con su etiqueta. La nota global de A+ a F abarca las 38 comprobaciones, ponderadas por prioridad: las de prioridad alta valen 10 puntos, las medias 5 y las bajas 2, una advertencia obtiene la mitad y los resultados informativos se excluyen. "Fix these first" enumera hasta ocho problemas, empezando por los de prioridad alta. Cada fila muestra además qué porcentaje de los sitios auditados supera la misma comprobación, lo que te dice si un problema es raro o común.

Cómo solucionar cada problema que informa el verificador

1. robots.txt bloquea a los rastreadores de búsqueda de IA

Abre https://tudominio.com/robots.txt y localiza el grupo que se aplica a cada token bloqueado: un grupo que lo nombre o, si no, *. Después decide tu política y escríbela de forma explícita. Este archivo permite la búsqueda de IA y las consultas de usuario, bloquea el entrenamiento y mantiene las reglas habituales para todos los demás:

# AI search and user-requested fetches
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Model training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Paso a paso:

1. Elimina cualquier User-agent: * con Disallow: / que quede de un sitio de staging. Ese único par lo bloquea todo.
2. Si el grupo de búsqueda de IA necesita las mismas reglas de áreas privadas que el resto, cópialas. Un grupo con nombre no hereda las reglas de *.
3. Si usas un plugin o una función del CDN que escribe el robots.txt por ti, cámbialo ahí; editar el archivo a mano se sobrescribe en el siguiente despliegue.
4. Guarda, vuelve a cargar el archivo en producción en una ventana privada y ejecuta de nuevo el verificador de rastreadores de IA.
5. Espera un día antes de que el cambio surta efecto en OpenAI y Perplexity.

2. El firewall rechazó al rastreador

1. Encuentra la regla. En el registro de eventos de tu CDN o firewall, filtra por user agents que contengan GPTBot, OAI-SearchBot, ClaudeBot o PerplexityBot y anota qué regla actuó: protección anti-bots, un conjunto de reglas gestionadas, un límite de tasa o un bloqueo por país.
2. En Cloudflare, abre AI Crawl Control: enumera cada rastreador de IA con Allow o Block, de modo que puedes permitir los rastreadores de búsqueda de IA y seguir bloqueando los de entrenamiento. Revisa también las políticas de tráfico de bots de IA en los ajustes de seguridad de tu zona. Pon Search en permitir si quieres que te citen. Decide Training y Agent según sus propios méritos, y recuerda que "bloquear en páginas con anuncios" solo se aplica a las páginas que Cloudflare detecta que muestran anuncios.
3. En otros WAF, añade una regla de permiso para los bots que quieras, basada en el user agent y en los rangos de IP publicados por el proveedor, como recomienda Perplexity. OpenAI publica searchbot.json, gptbot.json y chatgpt-user.json, Perplexity perplexitybot.json y perplexity-user.json, Anthropic claude.com/crawling/bots.json y Common Crawl ccbot.json. Da a la regla de permiso mayor prioridad que a las de bloqueo y actualiza los rangos con regularidad, porque cambian.
4. Límites de tasa. Si la prueba recibió 429, tu límite es más estricto que el ritmo de un rastreador. Súbelo para los bots verificados en lugar de desactivarlo.
5. No bloquees por IP para excluirte del entrenamiento. Anthropic advierte de que bloquear sus direcciones IP puede no excluirte de forma fiable, porque entonces sus bots no pueden leer tu robots.txt. Usa robots.txt para la política y el firewall para los abusos.

Si estás seguro de que tu firewall verifica los bots por IP y la advertencia procede de nuestra petición no verificada, confírmalo con los logs: las peticiones reales desde los rangos de OpenAI deberían recibir 200.

3. Los rastreadores de entrenamiento están bloqueados

Esto se informa, pero no cuenta como fallo. Comprueba dos cosas. Primera, que el bloqueo es lo que quieres: bloquear Google-Extended también elimina tu contenido del grounding en las apps de Gemini, y bloquear Applebot-Extended solo afecta al entrenamiento, no a las funciones de búsqueda de Apple. Segunda, que el bloqueo está en un grupo con nombre y no en *, donde también afectaría a los rastreadores de búsqueda.

4. Solo se ven unas pocas palabras antes de que se ejecute JavaScript

1. Mira el código fuente de la página (no el inspector) de tu página de inicio y de las páginas clave. Si el texto principal no está ahí, los rastreadores que no renderizan JavaScript no ven nada.
2. Renderiza en el servidor las plantillas clave: renderizado del lado del servidor, generación estática o pre-renderizado. En Next.js, por ejemplo, usa Server Components o generación estática en lugar de obtener el texto en el navegador.
3. Asegúrate de que lo esencial esté en el HTML: la descripción del producto, los precios, los planes y las respuestas de las FAQ. Los widgets interactivos pueden seguir en el cliente.
4. Ejecuta de nuevo el verificador; el recuento de palabras del mensaje debería subir.

5. Falta el robots.txt o bloquea a Google

El verificador distingue los casos. "No robots.txt file was found" significa un 404 u otro 4xx, algo inofensivo: los rastreadores lo tratan como "sin restricciones". "robots.txt answers with status N" o "could not be reached" significa un 5xx, un 429 o un timeout, lo cual es grave: el RFC 9309 dice que el rastreador debe asumir entonces una prohibición total, y Google deja de rastrear durante las primeras 12 horas (especificación de robots.txt de Google). Arregla el servidor para que /robots.txt responda 200 con texto plano, o 404 si no necesitas reglas, y confírmalo con curl -I https://tudominio.com/robots.txt. También se señala un robots.txt que devuelve una página HTML. Si robots.txt bloquea a Googlebot en /, arregla eso primero: también bloquea las funciones de IA de Google y, por el recurso de Apple, a Applebot.

Verifica los rastreadores en tus logs

Cualquiera puede enviar una petición que diga "GPTBot". Antes de dejar pasar a un bot por un firewall o de culparlo de la carga, verifícalo:

• OpenAI, Anthropic, Perplexity, Common Crawl: compara la IP con las listas JSON indicadas arriba.
• Google: haz una búsqueda DNS inversa de la IP, comprueba que el nombre termina en googlebot.com, google.com o googleusercontent.com, y luego una búsqueda directa para confirmar que devuelve la misma IP (Verifying Googlebot). Google también publica listas JSON como common-crawlers.json y user-triggered-fetchers.json.
• Common Crawl señala que algunos rastreadores se hacen pasar falsamente por CCBot, por lo que publica sus rangos con DNS inverso.

Ejemplo práctico (hipotético)

El siguiente es un ejemplo hipotético, no datos reales. Larkspur Analytics, una herramienta inventada de paneles B2B, descubre que ChatGPT describe sus precios a partir de una web de reseñas de 2024. El verificador de rastreadores de IA informa:

El robots.txt estaba bien; el equipo había bloqueado el entrenamiento a propósito. El 403 venía de una regla de protección anti-bots que un contratista activó durante un incidente de scraping y que coincidía con cualquier user agent que contuviera "bot". Las soluciones:

1. Sustituyeron la regla amplia por un límite de tasa y añadieron reglas de permiso para OAI-SearchBot, Claude-SearchBot y PerplexityBot, basadas en el user agent y en los rangos de IP publicados.
2. Pasaron las páginas de precios y funciones a generación estática, de modo que el HTML lleva el texto completo.
3. Volvieron a ejecutar el verificador: el acceso de rastreadores de IA se superó y el recuento de palabras visibles subió a 1.180.
4. Dos semanas después, los logs del servidor mostraban peticiones verificadas de OAI-SearchBot y PerplexityBot a la página de precios, y las nuevas respuestas de ChatGPT la citaban.

Lista de comprobación de rastreadores de IA en 20 minutos

1. Ejecuta el verificador de rastreadores de IA gratuito en tu dominio.
2. Anota tu política: búsqueda permitida, entrenamiento permitido o bloqueado, consultas de usuario permitidas.
3. Exprésala en grupos con nombre del robots.txt, nunca solo en *.
4. Revisa los ajustes de bots del firewall o CDN, incluido AI Crawl Control de Cloudflare.
5. Mira el código fuente de tus páginas clave y confirma que el texto principal está en el HTML.
6. Confirma en los logs, una semana después, que los rastreadores de búsqueda verificados reciben 200.

Cómo te ayuda Searvia con los rastreadores de IA

El verificador de rastreadores de IA gratuito te da en una sola ejecución el panorama del robots.txt para 10 rastreadores de IA y de búsqueda y 2 tokens de exclusión del entrenamiento, una prueba de firewall y la comprobación de JavaScript, con un informe que puedes compartir. El verificador de preparación para la búsqueda con IA, más amplio, añade llms.txt, marcado de identidad, contenido de preguntas y respuestas y actualización. Si tu sitio funciona con Cloudflare, conecta Cloudflare con un token de solo lectura: la pestaña de rastreadores de IA de tu proyecto web muestra qué rastreadores de IA visitan realmente, con qué frecuencia y qué páginas leen, con los rastreadores falsos filtrados. El acceso es solo el primer paso; el seguimiento de visibilidad en IA comprueba después cada semana si asistentes como ChatGPT, Gemini y Perplexity te mencionan y te citan de verdad. Empieza con el plan gratuito en la página de precios.