Si creo una página estática en un dominio (http://www.domain.com/page.html), ¿puede un rastreador seguir viéndolo si no hay enlaces a él en ningún lugar del sitio?
web-crawlers
dividido
fuente
fuente
Respuestas:
¿Pueden verlo? Si. ¿Pueden encontrarlo? No sin ayuda.
Los rastreadores web suelen encontrar páginas para rastrear siguiendo enlaces a ellas en otras páginas. Algunos rastreadores (por ejemplo, rastreadores de motores de búsqueda) también rastrearán páginas enumeradas en archivos XML especiales. Entonces, si no hay un enlace a la página en su sitio web o en cualquier otro sitio web, entonces esa página no se rastreará ( Google encontrará las páginas que contienen la URL de esa página pero están en texto sin formato ).
Sin embargo, una vez que se encuentra y rastrea una página, puede volver a rastrearse incluso si todos los enlaces a esa página se eliminan de sus respectivos sitios web. Esto se debe a que las páginas que se rastrean se indexan (p. Ej., Se agregan a la lista de páginas de rastreadores para volver a rastrear), por lo que el rastreador sabe que debe rastrearlo nuevamente más adelante para buscar cambios. Si desea evitar que esto suceda, puede hacer lo siguiente:
Más efectivo
Menos efectivo
fuente
Otra forma de descubrir la página es cuando tiene enlaces a otros sitios en esa página.
La URL de su página aparecerá en sus registros de referencia, un buen paso del tiempo de muchos webmasters es navegar brevemente a través de esos registros y ver lo que otros están diciendo sobre sus páginas.
Algunos sitios parecen proporcionar acceso a esos registros sin ninguna restricción de acceso, por lo que los rastreadores también pueden acceder a ellos ...
Para mantener la página realmente secreta, no permita que se vincule a sitios externos.
fuente