Terminé mi sitio web y lo lancé, creo que tuve un problema con mi robots.txt
, así que lo cambié para que se vea así:
03/08/2012
# Allows all bots
Sitemap: http://www.mysite.co.za/sitemap.xml
User-agent: *
Disallow: /dashboard/
Cuando busco en Google domain.co.za
, me devuelven esto: Inicio
A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15
Ahora, desde que solucioné esto y agregué una redirección 301 para redirigir mysite.co.za
a, www.mysite.co.za
me encantaría que Google Bot viniera a hacer una visita.
¿Hay algo que pueda hacer para arreglar esto?
Respuestas:
Dave tiene razón en el dinero (virtual +1 ya que mi puntaje aún es demasiado bajo)
Por favor haga lo siguiente
Esto acelerará las cosas, pero no esperes ningún resultado instantáneo.
fuente
Ahora puede usar la herramienta 'Explorar como robot de Google' en las Herramientas para webmasters de Google como una forma de persuadir a Google para que vuelva a rastrear (o rastrear por primera vez) una página: http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / submit-urls-to-google-with-fetch-as.html
fuente
También debe comentar (prefijo con
#
) la primera línea.Google debería recuperar su archivo robots.txt con bastante rapidez (dentro de unos días, dependiendo de los encabezados de caché de su sitio), pero su sitio podría tardar un poco más en volver a indexarse. Lamentablemente, probablemente tengas que ser paciente.
fuente
Me gustaría agregar que no es necesario agregar un archivo robots.txt en su sitio web para rastrearlo. Encontré a muchas personas que tienen ideas erróneas sobre el archivo robots.txt. Los robots de los motores de búsqueda rastrearán su sitio web aunque no tengan el archivo robots.txt.
Sin embargo, si no desea mostrar algún contenido al motor de búsqueda, se requiere robots.txt.
En su caso, los siguientes pasos harán que su sitio web se rastree rápidamente:
fuente