Acabo de actualizar mi archivo robots.txt en un nuevo sitio; Google Webmaster Tools informa que leyó mi robots.txt 10 minutos antes de mi última actualización. ¿Hay alguna forma de alentar a Google a que vuelva a leer mi archivo robots.txt lo antes posible? ACTUALIZACIÓN: en Configuración del...
A fin de que: Aumentar la seguridad de mi sitio web Reduce los requisitos de ancho de banda Prevenir la recolección de direcciones de correo
Estoy tratando de configurar robots.txttodos los hosts virtuales en el servidor http nginx. Pude hacerlo en Apache poniendo lo siguiente en main httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Intenté hacer algo similar con...
Tenemos una configuración de servidor web de desarrollo Apache XAMPP con hosts virtuales y queremos evitar que los serps rastreen todos nuestros sitios. Esto se hace fácilmente con un archivo robots.txt. Sin embargo, preferimos no incluir un archivo robots.txt de rechazo en cada vhost y luego tener...