Cómo usar la herramienta «Generador de robots.txt»
- Añade la URL de tu sitemapPega la dirección completa de tu sitemap XML en URL del sitemap o deja vacío este campo opcional.
- Elige la regla predeterminadaEn Regla predeterminada, elige Permitir todo para dejar entrar a todos los rastreadores o Bloquear todo para pedirles que no entren.
- Genera y sube el archivoPulsa el botón Ejecutar, copia el resultado y guárdalo como robots.txt en la carpeta raíz de tu sitio.
Usos habituales
- Lanzar un sitio nuevo que deba estar abierto a los buscadores
- Pedir a los rastreadores que no entren en un sitio de pruebas o staging
- Añadir una línea Sitemap para que los rastreadores encuentren tu sitemap
Preguntas frecuentes
¿Cómo se usa la herramienta «Generador de robots.txt»?
1. Añade la URL de tu sitemap: Pega la dirección completa de tu sitemap XML en URL del sitemap o deja vacío este campo opcional. 2. Elige la regla predeterminada: En Regla predeterminada, elige Permitir todo para dejar entrar a todos los rastreadores o Bloquear todo para pedirles que no entren. 3. Genera y sube el archivo: Pulsa el botón Ejecutar, copia el resultado y guárdalo como robots.txt en la carpeta raíz de tu sitio.
¿Qué contiene el archivo generado?
Un único grupo para todos los rastreadores (User-agent: *) con una línea Disallow vacía, que lo permite todo, o con Disallow: /, que lo bloquea todo. Si indicaste una URL de sitemap, se añade una línea Sitemap al final. La herramienta no comprueba que el sitemap exista.
¿Puedo bloquear carpetas concretas o bots individuales?
Con este generador no. Solo escribe una regla de permitir todo o bloquear todo que se aplica a todos los rastreadores. Para bloquear rutas o user agents concretos, edita el archivo a mano después de copiarlo.
¿Bloquear todo elimina mis páginas de Google?
No. El robots.txt pide a los rastreadores que respetan las normas que no descarguen las páginas, pero no es un control de acceso ni garantiza que desaparezcan de los resultados. Las URL bloqueadas pueden seguir apareciendo si otros sitios las enlazan. Para dejar una página fuera de los resultados, deja que se rastree con una etiqueta noindex o protégela con contraseña.
¿Se guardan los datos que introduzco?
El formulario se envía al servidor de GigaTools, que crea el texto y te lo devuelve al momento. La herramienta no guarda la URL del sitemap ni el archivo generado, y la respuesta se marca como privada y no almacenable en caché.