Tengo un sitio web y quiero descargar todas las páginas / enlaces dentro de ese sitio web. Quiero hacer un wget -r
en esta URL. Ninguno de los enlaces va "fuera" de este directorio específico, por lo que no me preocupa descargar todo Internet.
Resulta que las páginas que quiero están detrás de la sección protegida por contraseña del sitio web. Si bien podría usar wget para hacer esa negociación de cookies manualmente, sería mucho más fácil para mí simplemente "iniciar sesión" desde el navegador y usar algún complemento de Firefox para descargar recursivamente todo.
¿Hay una extensión o algo que me permita hacer esto? Muchas extensiones se centran en obtener medios / imágenes de la página (heh. Heh.) Pero estoy interesado en todo el contenido, HTML y todo.
Sugerencias?
¡Gracias!
Editar
DownThemAll parece una sugerencia genial. ¿Puede hacer una descarga recursiva ? Como en, descargue todos los enlaces de la página y luego descargue todos los enlaces contenidos en cada una de esas páginas, etc. ¿De modo que básicamente reflejo todo el árbol de directorios siguiendo los enlaces? ¿Te gusta la -r
opción de wget
?
fuente
Puede usar
wget -r
con cookies del navegador, extraídas después de la autorización.Firefox tiene la opción "Copiar como cURL" en el menú contextual de la solicitud de página en la pestaña Red de Herramientas para desarrolladores web, tecla de acceso rápido Ctrl + Shift + Q (es posible que deba volver a cargar la página después de abrir las herramientas):
Reemplace el indicador de encabezado de curl
-H
con wget--header
y tendrá todos los encabezados necesarios, incluidas las cookies, para continuar la sesión del navegador con wget.fuente