¿Cómo configuro correctamente wget para descargar solo archivos nuevos?

39

Digamos que hay una url, llamémosla http://www.some-url.com/folder/

Esta ubicación tiene una lista de directorios habilitada , por lo tanto, puedo hacer esto:

wget -r -np http://www.some-url.com/folder/

Para descargar todo su contenido con todos los archivos y subcarpetas y sus archivos.

Ahora, ¿qué debo hacer si quiero repetir este proceso nuevamente, un mes después, y no quiero volver a descargar todo, solo agregar archivos nuevos / modificados?

Richard Rodriguez
fuente

Respuestas:

53

¿Leíste esto? http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html

"Varios días después, le gustaría que Wget verifique si el archivo remoto ha cambiado y lo descargue si lo ha hecho".

wget -N http://www.some-url.com/folder/

Prueba esto.

usuario69274
fuente
55
Pero -N es inútil si el archivo recuperado no tiene encabezado de Última modificación.
unibasil
17
wget -c 

también continúa archivos parciales causados ​​cuando la descarga tiene problemas .....
Mejor aún,

 wget -c -N 

parece hacer las dos cosas al mismo tiempo.

Henry Crutcher
fuente
Encontré con mi versión 1.11.4 Red Hat modified, estos indicadores no son compatibles y -c anula -N.
Matt Williamson