Generador de robots.txt - Controla el rastreo de buscadores

Generador de robots.txt

Crea un archivo robots.txt para controlar cómo los motores de búsqueda rastrean tu sitio web. Define qué páginas indexar y cuáles excluir.

* robots.txt se coloca en la raíz de tu sitio web (ej: https://tusitio.com/robots.txt)

Configuración

Sitemap URL: Opcional - URL de tu sitemap.xml

User-agent principal:

Reglas para el user-agent principal:

Permitir todo (Allow: /)

Bloquear todo (Disallow: /)

Personalizado

User-agents adicionales:

Delay de rastreo (crawl-delay): Segundos entre peticiones (0 = sin delay)

Incluir directiva Host (útil para mirrors)

robots.txt generado

¿Qué significa cada directiva?

User-agent:
Especifica a qué robot aplican las reglas.

Disallow:
Rutas que NO deben rastrearse.

Allow:
Rutas que SÍ pueden rastrearse.

Sitemap:
Ubicación del archivo sitemap.xml.

Crawl-delay:
Tiempo entre peticiones del robot.

Host:
Dominio preferido (espejos).

No hay generaciones guardadas

Herramientas de hardware