Quiero raspar todas las páginas y subpáginas de un sitio web (por raspar, quiero decir, guardar todo el contenido en línea en archivos HTML locales).
¿Cuál es la mejor utilidad para rastrear todas las páginas? Idealmente, me gustaría especificar cuántas capas de profundidad raspar.
Tienes dos opciones:
Puede usar la wgetutilidad de línea de comandos de esta manera:
wget -rl 10Reemplace el 10con el número de niveles en los que le gustaría volver a descender.
O bien, puede usar SiteSucker . Una aplicación GUI que descarga recursivamente sitios web. También puede especificar hasta qué punto recurrir con SiteSucker.
Vacío profundo
GUI para wget, $ 15.
cocoawget
(gratis)
fuente