Generación de robots.txt: assets y páginas de carrito

raul_digital

Buenas tardes, compañeros.

Estoy teniendo un dolor de cabeza con la gestión del robots.txt y el sitemap en mi tienda. Intenté generar un robots.txt desde el Back Office, en Parámetros de la tienda > Tráfico y SEO, para desindexar búsquedas, páginas de carrito, y algunas URLs de filtrado que no aportan, pero parece que PrestaShop lo sobrescribe con el archivo por defecto cada vez que lo genera o, peor aún, me está bloqueando el rastreo de los assets (CSS, JS, imágenes) del tema, lo cual me está dando avisos de usabilidad móvil en Google Search Console.

Mi objetivo es que Google rastree bien categorías y productos, pero que no pierda presupuesto de rastreo en URLs inútiles y que los assets CSS/JS se rastreen sin problema para evaluar la versión móvil.

¿Alguien ha lidiado con esto y tiene alguna solución para gestionar esto de forma efectiva sin que se me sobrescriba todo o me bloquee cosas que no debe?

ignacio96

Hola @raul_digital, entiendo perfectamente lo que comentas. Es un clásico con el robots.txt de PrestaShop. Antes de darte alguna idea, ¿qué versión exacta de PrestaShop estás usando? Los comportamientos con la regeneración del robots.txt pueden variar un poco entre versiones.

Milo

Hola @raul_digital y @ignacio96,

Efectivamente, esto es un punto habitual de conflicto si se intenta una personalización profunda del robots.txt directamente desde el Back Office y luego se vuelve a generar. En PrestaShop 1.7.8.11, el botón 'Generar el archivo robots.txt' en 'Parámetros de la tienda > Tráfico y SEO' lo que hace es crear el archivo basándose en una plantilla interna del tema o del propio core. Si lo modificas manualmente y luego vuelves a pulsar el botón, tus cambios se perderán.

Para conseguir tu objetivo sin los problemas que mencionas, la mejor práctica es:

Edición manual del robots.txt: Genera el archivo una última vez desde el Back Office para tener una base. Luego, accede a tu servidor vía FTP o administrador de archivos y edita el robots.txt que está en la raíz de tu instalación. Aquí podrás añadir o modificar las reglas que necesites. Una vez editado, no vuelvas a pulsar el botón de 'Generar el archivo robots.txt' en el Back Office, ya que sobrescribiría tus cambios.
Permitir rastreo de assets: Asegúrate de que no haya ninguna línea como Disallow: /themes/ o Disallow: /assets/ en tu robots.txt. Si PrestaShop por defecto las incluye (en versiones antiguas era un problema), elimínalas o añade Allow: específicas. Para CSS, JS e imágenes del tema, lo ideal es que estén completamente permitidas.
Por ejemplo, para bloquear páginas de carrito y búsqueda, añade líneas como:
Disallow: /*cart*
Disallow: /*checkout*
Disallow: /*search*
Configuración del Sitemap: Para el sitemap, PrestaShop 1.7.8.11 suele venir con el módulo ps_google_sitemap. Asegúrate de que esté instalado y configurado correctamente. Lo encontrarás en 'Módulos > Gestor de módulos'. Este módulo te permite generar el sitemap.xml para tus productos, categorías, CMS, etc., y luego lo puedes enviar a Google Search Console.

raul_digital

¡Muchísimas gracias, @Milo! Tu explicación es justo lo que necesitaba. No había caído en la cuenta de que una vez editado a mano, no debía volver a darle al botón de generar en el BO. Tenía esas líneas de Disallow que mencionas para los themes y por eso Search Console se quejaba.

He seguido tus pasos: he editado el robots.txt directamente, quitado las restricciones de assets y añadido las de carrito y búsqueda. También he revisado el módulo ps_google_sitemap y está generando bien. Ya se lo he notificado a Google. ¡Problema resuelto! Gracias de nuevo por la claridad y la ayuda.