Buena herramienta para rastrear mi sitio y ayudarme a encontrar enlaces muertos y archivos no vinculados [cerrado]

21

Tengo un sitio heredado bastante grande con literalmente miles de archivos PDF que a veces representan en una base de datos, pero a menudo son solo enlaces en la página y se almacenan en la mayoría de los directorios del sitio.

He escrito un rastreador de php para seguir todos los enlaces en mi sitio, y luego lo estoy comparando con un volcado de la estructura del directorio, pero ¿hay algo más fácil?

site-maintenance web-crawlers dead-links MrChrister
fuente
Consulte también webmasters.stackexchange.com/questions/13310/…, quien también pregunta sobre la corrección ortográfica.
James Skemp

Respuestas:

15

He usado Link Sleuth de Xenu . Funciona bastante bien, ¡solo asegúrate de no hacer DOS tú mismo!

plntxt
fuente
1
Marque la opción 'Archivos huérfanos' en las opciones y le pedirá que inicie sesión ftp en su sitio.
pelms
¿Esto maneja los sitios que también debe iniciar sesión para acceder a la página?
Donny V.
@ Jim ¿Cómo puedo ver en qué página está el enlace roto?
Rob
Una vez que se completa el rastreo, hay un informe que le informará la información. Dependiendo del tamaño del sitio y del número de enlaces rotos, puede ser difícil de analizar. Por lo general, ajusto las opciones de informes antes del rastreo, y abro el informe como un archivo de texto (ya que es .htm) y elimino las cosas que no son pertinentes para hacerlo más manejable. Espero que esto ayude.
plntxt
6

Si está utilizando Windows 7, la mejor herramienta es SEO Toolkit 1.0 de IIS7. Es gratis y puedes descargarlo gratis.

La herramienta escaneará cualquier sitio y le dirá dónde están todos los enlaces muertos, qué páginas tardan en cargar, qué páginas tienen títulos faltantes, títulos duplicados, lo mismo para palabras clave y descripciones, y qué páginas tienen HTML roto.

Ben Hoffman
fuente
1
Utilicé esto personalmente, y es excelente para escanear y, por supuesto, SEO, pero la verificación de FTP en Xenu simplemente borra esto.
MrChrister
1

Soy un gran admirador de linklint para verificar enlaces de sitios estáticos grandes, si tiene una línea de comando unix (la he usado en Linux, MacOS y FreeBSD). Consulte su sitio para obtener instrucciones de instalación. Una vez instalado, creo un archivo llamado check.lly hago:

linklint @check.ll

Así es como se ve mi archivo check.ll

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

Eso rastrea www.example.comy genera archivos HTML con informes de referencias cruzadas de lo que está roto, falta, etc.

artlung
fuente
1

Hay varios productos de Microsys , especialmente su A1 Sitemap Generator y A1 Website Analyzer que rastrearán su sitio web e informarán todo lo que pueda imaginar al respecto.

Eso incluye enlaces rotos, pero también una vista de tabla de todas sus páginas para que pueda comparar cosas como etiquetas idénticas de <título> y meta descripción, enlaces nofollow, meta noindex en páginas web y muchas enfermedades que solo necesitan un ojo agudo y Una mano rápida para arreglar.

Evgeny
fuente