Robots.txt: qué es y cómo decide qué bots de IA leen tu web

¿Qué es el robots.txt?

Es un archivo de texto que vive siempre en la misma dirección: tu dominio seguido de /robots.txt. Lo leen los rastreadores, es decir, los programas que recorren webs para buscadores y empresas de IA. En él dices qué programas pueden entrar y qué partes de tu web pueden leer.

Piensa en él como el cartel de la puerta de una oficina: indica por dónde se puede pasar. Pero no es una cerradura. Según Google, los rastreadores fiables siguen sus instrucciones y otros pueden ignorarlas.

Dentro, cada bloque empieza con el nombre de un programa y dice qué carpetas puede o no puede leer. Si un programa no aparece en el archivo, entiende que puede leerlo todo. Y si el archivo no existe, pasa lo mismo con todos.

¿Para qué sirve el robots.txt y para qué no?

Según Google, su uso principal es evitar que tu web se sature con las visitas de estos programas. No sirve para que una página desaparezca de Google. Para eso hay que pedir que no aparezca o protegerla con contraseña.

• Sí sirve para: pedir a un programa concreto que no lea tu web o una parte de ella.
• Sí sirve para: separar decisiones, por ejemplo dejar entrar al buscador de ChatGPT y no al programa que entrena sus modelos.
• No sirve para: ocultar información privada. Para eso, contraseña.
• No sirve para: sacar una página de Google si otras webs la enlazan.

¿Por qué el robots.txt importa más con la IA?

Porque ahora hay muchos más programas leyendo tu web, y cada uno hace una cosa distinta. OpenAI, por ejemplo, usa uno para su buscador (OAI-SearchBot) y otro para entrenar modelos (GPTBot). Según su documentación, cada ajuste es independiente del otro.

Google tiene Google-Extended para decidir si tus textos sirven para entrenar Gemini. Según Google, bloquearlo no afecta a que salgas en su buscador ni a tu posición. Y el programa que visita una página cuando un usuario se lo pide a ChatGPT puede no seguir el robots.txt, según OpenAI.

Hay otra capa que muchos olvidan. Desde julio de 2025, Cloudflare, que protege 1 de cada 5 webs, pregunta a cada web nueva si deja entrar a los rastreadores de IA. Ese bloqueo funciona aparte del robots.txt.

En Garcai pensamos que bloquear «a la IA» de golpe es un error para casi cualquier pyme: puedes desaparecer del buscador de ChatGPT sin querer. Lo explicamos en detalle en GPTBot y otros bots de IA.

¿Cómo revisar tu robots.txt sin saber programar?

1. Escribe en el navegador tu dominio seguido de /robots.txt y mira qué aparece.
2. Si no existe, todos los programas pueden leer tu web.
3. Busca los nombres GPTBot, OAI-SearchBot y Google-Extended. Si al lado pone «Disallow» con una barra, ese programa está bloqueado.
4. Pregunta a quien lleve tu web si usáis Cloudflare y si tenéis activado el bloqueo de bots de IA.
5. Decide qué quieres y pide el cambio. Según OpenAI, su buscador tarda unas 24 horas en aplicarlo.

Errores frecuentes con el robots.txt

• Usarlo para esconder páginas privadas: cualquiera puede leer el archivo y ver qué intentas ocultar.
• Bloquear Googlebot por error y desaparecer de Google.
• Bloquear todos los bots de IA y salir también del buscador de ChatGPT.
• Revisar solo el robots.txt y olvidar el bloqueo de Cloudflare o del alojamiento.

Desde Garcai recomendamos revisarlo dos veces al año, porque las empresas de IA añaden programas nuevos. Y si lo que buscas es que la IA te cite, el siguiente paso es nuestra guía para aparecer en ChatGPT.