¿Es posible que los rastreadores web vean páginas estáticas sin seguir un enlace?

Respuestas:

10

¿Pueden verlo? Si. ¿Pueden encontrarlo? No sin ayuda.

Los rastreadores web suelen encontrar páginas para rastrear siguiendo enlaces a ellas en otras páginas. Algunos rastreadores (por ejemplo, rastreadores de motores de búsqueda) también rastrearán páginas enumeradas en archivos XML especiales. Entonces, si no hay un enlace a la página en su sitio web o en cualquier otro sitio web, entonces esa página no se rastreará ( Google encontrará las páginas que contienen la URL de esa página pero están en texto sin formato ).

Sin embargo, una vez que se encuentra y rastrea una página, puede volver a rastrearse incluso si todos los enlaces a esa página se eliminan de sus respectivos sitios web. Esto se debe a que las páginas que se rastrean se indexan (p. Ej., Se agregan a la lista de páginas de rastreadores para volver a rastrear), por lo que el rastreador sabe que debe rastrearlo nuevamente más adelante para buscar cambios. Si desea evitar que esto suceda, puede hacer lo siguiente:

Más efectivo

  • Eliminar la página de Internet
  • Cambió la URL de esa página (esencialmente eliminando la página y agregando una nueva)
  • Colóquelo detrás de un inicio de sesión

Menos efectivo

  • Bloquee esa página utilizando un archivo robots.txt (que puede ignorarse)
  • Intente filtrar los bots defectuosos por IP (que puede cambiar con cada visita) o agente de usuario (puede ser falso)
John Conde
fuente
1

Otra forma de descubrir la página es cuando tiene enlaces a otros sitios en esa página.

La URL de su página aparecerá en sus registros de referencia, un buen paso del tiempo de muchos webmasters es navegar brevemente a través de esos registros y ver lo que otros están diciendo sobre sus páginas.

Algunos sitios parecen proporcionar acceso a esos registros sin ninguna restricción de acceso, por lo que los rastreadores también pueden acceder a ellos ...

Para mantener la página realmente secreta, no permita que se vincule a sitios externos.

Louis Somers
fuente