Hola @manueldeco y @danielaonline48,
El problema de la sobrescritura del robots.txt es un comportamiento estándar de PrestaShop si lo regeneras desde el Back Office. La solución no es tanto editar el archivo directamente y luego regenerarlo, sino configurar las reglas de exclusión a través del sistema de 'Esquema de URL' de PrestaShop.
Para evitar que los bots rastreen URLs específicas como las de búsqueda o carrito sin tocar el robots.txt manualmente:
- Ve a Parámetros de la Tienda > Tráfico y SEO > SEO y URLs.
- Desplázate hasta la sección 'Establecer el esquema de URL'.
- Aquí puedes definir cómo se construyen tus URLs. Para las páginas que quieres desindexar o evitar que rastreen, asegúrate de que no están en el esquema o que utilizas las etiquetas
noindex directamente en la plantilla Smarty de esas páginas (por ejemplo, search.tpl o cart.tpl).
- Para las URLs de búsqueda y carrito, PrestaShop ya incluye de forma predeterminada el
noindex en sus plantillas, pero si has personalizado tu tema o tienes módulos que generan estas URLs, podrían estarlo omitiendo. Verifica que en el <head> de esas páginas esté presente <meta name="robots" content="noindex, follow">.
Respecto a los /assets/, el robots.txt por defecto de PrestaShop 9 está diseñado para permitir el acceso a CSS, JS e imágenes, ya que son críticos para el renderizado de la página. Si tu robots.txt está bloqueando /assets/, es probable que hayas añadido una regla manual que no es necesaria o que un módulo esté interviniendo. Restaura el robots.txt por defecto y no añadas reglas de bloqueo para /assets/.
Para el sitemap, también en Parámetros de la Tienda > Tráfico y SEO > SEO y URLs, busca la opción de 'Generar sitemap'. Asegúrate de que las categorías y productos importantes están incluidos y que no estás generando URLs que ya has marcado con noindex.