Qué es el archivo robots.txt
El robots.txt es un archivo de texto plano que vive en la raíz de tu dominio (https://tu-sitio.com/robots.txt) y le dice a los rastreadores de los buscadores qué partes de tu sitio pueden o no pueden recorrer. Es lo primero que consulta Googlebot antes de indexar tus páginas, así que un archivo mal escrito puede esconder tu web entera de Google o, al revés, dejar expuesto un panel privado.
Este generador arma el archivo por ti a partir de opciones sencillas: eliges qué bots afectas, qué rutas bloqueas con Disallow, qué excepciones permites con Allow, un Crawl-delay opcional y la URL de tu sitemap. Todo ocurre en tu navegador; nada se envía a ningún servidor. Copias el resultado y lo subes a la raíz de tu hosting.
Cómo usar el generador
- Pulsa un preset para partir de una base: Permitir todo, Bloquear todo o Bloquear /admin y /privado.
- En cada bloque, escribe el
User-agent(usa*para todos los bots o un nombre comoGooglebot). - Añade una ruta por línea en Disallow (lo que se bloquea) y en Allow (las excepciones).
- Si lo necesitas, pon un
Crawl-delayen segundos y la URL de tu sitemap. - Copia el texto generado y guárdalo como
robots.txten la raíz de tu dominio.
Qué significa cada directiva
| Directiva | Para qué sirve |
|---|---|
User-agent | Indica a qué robot se aplican las reglas de ese bloque. * significa todos. |
Disallow | Ruta que el bot no debe rastrear. Un Disallow: vacío no bloquea nada. |
Allow | Excepción que permite una ruta dentro de una carpeta bloqueada. |
Crawl-delay | Segundos de espera entre peticiones. Google lo ignora; Bing y Yandex lo respetan. |
Sitemap | URL absoluta de tu mapa del sitio para ayudar a los buscadores a encontrar tus páginas. |
Las rutas se comparan por prefijo desde la raíz: Disallow: /admin/ bloquea /admin/, /admin/usuarios y todo lo que cuelgue de ahí. La regla más específica gana, por eso Allow puede rescatar una subcarpeta concreta dentro de un Disallow más amplio.
Ejemplo resuelto
Supón una tienda que quiere ocultar el panel de administración y el carrito, pero dejar todo lo demás visible, y declarar su sitemap. Configuras un solo bloque con User-agent: *, dos líneas de Disallow (/admin/ y /carrito/) y la URL del sitemap. El generador produce:
User-agent: *
Disallow: /admin/
Disallow: /carrito/
Sitemap: https://asistente-rd.com/sitemap.xmlEse archivo pide a todos los bots que no rastreen /admin/ ni /carrito/, permite el resto del sitio y les señala dónde está el sitemap. Súbelo a https://asistente-rd.com/robots.txt y compruébalo abriendo esa URL en el navegador.
Preguntas frecuentes
¿robots.txt evita que una página aparezca en Google?
No siempre. Disallow impide el rastreo, pero si otras webs enlazan a esa URL, Google puede indexarla igualmente sin su contenido. Para garantizar que una página no aparezca en los resultados, usa la etiqueta meta name="robots" content="noindex" en el HTML de la página (y no la bloquees en robots.txt, o Google no verá el noindex).
¿Dónde debo colocar el archivo?
Siempre en la raíz del dominio: https://tu-sitio.com/robots.txt. Los rastreadores solo lo buscan ahí. Un robots.txt dentro de una subcarpeta (/blog/robots.txt) no tiene ningún efecto.
¿Disallow: vacío es lo mismo que Disallow: /?
Son opuestos. Un Disallow: sin ruta significa “no bloquees nada”, es decir, permite rastrear todo. Disallow: / bloquea absolutamente todo el sitio. Es un error muy común confundirlos y dejar una web sin indexar.
¿Google respeta el Crawl-delay?
No. Googlebot ignora la directiva Crawl-delay; para ajustar su frecuencia se usa Google Search Console. En cambio, Bing, Yandex y otros sí la tienen en cuenta, así que sigue siendo útil incluirla si te preocupa la carga del servidor.
¿Puedo tener varios bloques de User-agent?
Sí. Puedes crear un bloque * con reglas generales y bloques específicos para bots concretos como Googlebot o Bingbot. Cada rastreador aplica el bloque cuyo User-agent mejor coincide con su nombre, y solo ese bloque, no la suma de todos.