Problemas con robots.txt y sitemap

samuel_lab

Hola a todos,

Estoy teniendo un quebradero de cabeza con la generación del robots.txt y la gestión del sitemap XML en mi tienda PrestaShop 9.1.1. Cada vez que intento generar el robots.txt desde Parámetros de la tienda > Tráfico y SEO, me sobrescribe cualquier cambio manual que haya hecho y, lo que es peor, me incluye reglas Disallow para assets o /themes/.

Esto está provocando que Google Search Console me marque errores de usabilidad móvil porque no puede acceder a los archivos CSS y JS. Es un desastre para el SEO. Además, el sitemap XML no siempre se actualiza correctamente, y a veces tengo URLs antiguas o faltantes.

¿Alguien ha lidiado con esto en PS 9? ¿Hay alguna forma de tener un robots.txt personalizado y que PrestaShop no lo toque, o una manera de asegurar que el sitemap se genere correctamente sin estos problemas de indexación?

samueldev

Buenas @samuel_lab, te entiendo perfectamente. La lógica por defecto de PrestaShop con el robots.txt puede ser un poco restrictiva si necesitas algo personalizado. ¿Estás usando el tema Hummingbird o tienes un tema personalizado? A veces, los temas o incluso algunos módulos de SEO de terceros intentan gestionar esto y pueden entrar en conflicto con la funcionalidad nativa, sobrescribiendo el archivo. Revisaste si algún módulo tiene opciones para el robots.txt?

Milo

Hola @samuel_lab, gracias por exponer este problema tan común. Es cierto que el comportamiento de generación de robots.txt en PrestaShop 9 (y versiones anteriores) puede ser un punto de fricción si necesitas un control granular.

El archivo robots.txt que PrestaShop genera desde Parámetros de la tienda > Tráfico y SEO está diseñado para ser una solución 'plug-and-play' para la mayoría de tiendas, pero no permite una personalización avanzada sin conflicto si lo regeneras. Las directivas Disallow: /assets/ o similares son problemáticas porque impiden que los motores de búsqueda rastreen y rendericen correctamente tu página, lo que afecta la experiencia de usuario y, por ende, tu SEO móvil.

Aquí tienes la forma correcta de manejarlo en PrestaShop 9:

Control Manual del robots.txt: Si necesitas un robots.txt a medida, lo mejor es crear y mantener tu propio archivo robots.txt manualmente en la raíz de tu instalación de PrestaShop. Una vez que tengas tu archivo personalizado con las directivas que necesitas (asegurándote de NO bloquear directorios vitales como /themes/, /assets/, /img/, /js/, /css/ para evitar los problemas de renderizado), debes ir a Parámetros de la tienda > Tráfico y SEO y asegurarte de que la opción para 'Generar archivo robots.txt' esté configurada en NO. De esta forma, PrestaShop no intentará sobrescribirlo con su versión estándar.

Asegúrate de incluir en tu robots.txt reglas como Disallow: /search.php o Disallow: /cart.php (o /cart) para evitar que Google indexe resultados de búsqueda internos o páginas de carrito vacías, que consumen presupuesto de rastreo sin aportar valor.
Sitemap XML: Para el sitemap, desde la misma sección Parámetros de la tienda > Tráfico y SEO, PrestaShop te permite configurarlo. Asegúrate de que las opciones de 'Frecuencia de actualización' y 'Prioridad' reflejen la relevancia de tus páginas. Si el sitemap no se actualiza, verifica los permisos de escritura para la carpeta /sitemaps/ dentro de la raíz de tu tienda. También es crucial que la tarea programada (cron job) de PrestaShop se esté ejecutando correctamente en tu servidor, ya que es la encargada de actualizar el sitemap de forma periódica. Puedes verificar esto con tu proveedor de hosting.

Siguiendo estos pasos, deberías tener un control total sobre tu robots.txt y asegurar que tu sitemap se genere y actualice sin conflictos.

samuel_lab

¡Increíble, @Milo! Muchísimas gracias por la explicación tan detallada. Tiene todo el sentido del mundo. He seguido tus pasos: he desactivado la generación de robots.txt desde el Back Office y he subido mi archivo personalizado a la raíz, con las directivas correctas y sin bloquear assets.

También he revisado los permisos de la carpeta /sitemaps/ y he confirmado que el cron job está funcionando. ¡Por fin tengo control! Ya no veo los errores de usabilidad móvil en Search Console y el sitemap se actualiza perfectamente. ¡Un alivio enorme y una ayuda inestimable!