Wget: convertir enlaces y evitar volver a descargar archivos ya recuperados?

12

Estoy descargando datos distribuidos entre múltiples archivos que no cambian una vez publicados.

Por --timestampinglo tanto, no es lo suficientemente bueno, ya que está comprobando constantemente cualquier recurso que se cambie, lo que, en mi caso, es completamente inútil.

--no-clobberencajaría perfectamente. Desafortunadamente no funciona con --convert-links por alguna razón.

Se especificaron --no-clobber y --convert-links, solo se usarán --convert-links.

Esperaba que eso --backup-convertedayudara, pero no cambió nada (funciona --timestamping).

¿Por qué wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignora --no-clobbery cómo podría solucionarse?

wget download actividad reductora
fuente
Golpeando ese mismo problema hoy. ¿Cómo lo resolviste?
Angelo Fuchs
1
@AngeloFuchs Nunca lo resolví (publicaría una respuesta si eso sucediera). Al final, en mi caso, volver a descargar enlaces recuperados fue más simple que parchear wget o cambiar a otra cosa.
reducción de la actividad
intentaste --continue? Por lo general, esto está destinado a continuar una descarga previamente cancelada. pero si el archivo ya fue recuperado, no hace nada.
JPT

Respuestas:

1

¿Alguna posibilidad de usar rsync? Deberá tener acceso ssh al sistema. (Nunca he visto rsync usado para http: // descargas).

Algo como esto obtendrá archivos que nunca ha recibido y volverá a recoger los archivos que dejaron de descargarse por alguna razón. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

Esto puede no funcionar para usted. No hay suficiente información sobre lo que está tratando de hacer.

Mark Stewart
fuente
-2

No puedes usar ambos --convert-linksy --no-clobber. Recibirá este mensaje:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetpuede lograr lo que quiere, si especifica --convert-linksy --timestamping. Pero esto solo funcionará si el sitio de destino proporciona la información de marca de tiempo del archivo en los encabezados de respuesta.

RashaMatt
fuente
Esta respuesta no tiene nada que no haya sido mencionado en la primera revisión ( unix.stackexchange.com/posts/177330/revisions ) de mi pregunta.
reducción de la actividad