Generador de robots.txt

¿Qué hace robots.txt?

Un archivo robots.txt indica a los rastreadores qué partes de un sitio deben visitar, omitir o tratar con reglas especiales antes de comenzar a buscar páginas.

Cómo ayuda este generador

Esta herramienta le permite elegir una política de rastreo predeterminada, agregar rutas explícitas de permiso y denegación, establecer un retraso de rastreo opcional y agregar directivas de mapa del sitio o de host sin escribir el archivo a mano.

Casos de uso comunes

• Bloquear áreas de administración, páginas de búsqueda, filtros o herramientas internas del acceso general del rastreador.
• Permitir que una sección del sitio que es privada por defecto exponga solo algunas rutas públicas.
• Publica la ubicación principal del mapa del sitio para que los motores de búsqueda puedan descubrir las URL nuevas más rápidamente.
• Cree una plantilla robots.txt de inicio para pruebas, migraciones y listas de verificación de lanzamiento.

Mejores prácticas y limitaciones

Robots.txt es una directiva de rastreo, no un sistema de control de acceso, por lo que el contenido confidencial debe estar protegido con autenticación u otras restricciones del lado del servidor.

Los distintos rastreadores admiten directivas diferentes. Por ejemplo, la directiva `host` no es universal y algunos bots pueden ignorar `crawl-delay`, así que siempre valida tus reglas finales con los rastreadores que te interesen.