Preguntas etiquetadas con robots.txt

En robots.txt, ¿puedo escribir la siguiente URL relativa para el archivo de mapa del sitio? sitemap: /sitemap.ashx ¿O tengo que usar la URL completa (absoluta) para el archivo de mapa del sitio, como: sitemap: http://subdomain.domain.com/sitemap.ashx Por qué me pregunto Tengo un nuevo...

Mi robots.txten las Herramientas para webmasters de Google muestra los siguientes valores: User-agent: * Allow: / Qué significa eso? No tengo suficiente conocimiento al respecto, así que busco tu ayuda. Quiero permitir que todos los robots rastreen mi sitio web, ¿es esta la configuración...

¿Existe alguna solución inteligente para almacenar archivos estáticos en el directorio raíz de la aplicación de Flask? Se espera que robots.txt y sitemap.xml se encuentren en /, por lo que mi idea fue crear rutas para ellos: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response =...