¿Cómo puedo ralentizar rsync?

Estoy tratando de copiar el contenido de una unidad de memoria USB que falla. Si leo los datos demasiado rápido, el chip del controlador de la unidad se sobrecalienta y la unidad desaparece del sistema. Cuando eso sucede, necesito desconectar la unidad, esperar un minuto más o menos para que se enfríe, volver a enchufarla y reiniciar la copia.

Tengo una copia de seguridad antigua del contenido de la unidad, por lo que la forma obvia de obtener el resto de los datos es usarla rsyncpara actualizar la copia de seguridad, pero esto se ejecuta en el conjunto "leer demasiado rápido, la unidad desaparece , y necesito comenzar de nuevo "problema. ¿Hay alguna manera de decir rsyncque solo lea X ​​megabytes de datos por minuto? Alternativamente, ¿es posible decirle que suspenda las operaciones cuando la unidad desaparezca y que se reanude cuando se vuelva a enchufar?

A diferencia de la experiencia de DopeGhoti, el --bwlimit indicador limita la transferencia de datos, con mi rsync (v3.1.2).

prueba:

$ dd if=/dev/urandom bs=1M count=10 of=data
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.0871822 s, 120 MB/s

$ du -h data
10M     data

$ time rsync -q data fast
0.065 seconds

$ time rsync -q --bwlimit=1M data slow
10.004 seconds

(nota: mi timesalida se ve diferente a la mayoría de las timeinvocaciones (zsh función), esas veces no fueron editadas por mí)

De lo contrario, tal vez algo en la línea de un doble -execadentro find. Yo creo que rsync -Rdeben crear y copiar las carpetas principales, pero si no es así, entonces cp --parentsdebería.

$ find /failing/usb -exec rsync -R {} /somewhere/safe/ \; -exec sleep 1 \;

Nota : también echa un vistazo a ddrescue , podría ser justo lo que estás buscando :)

Un poco como una solución MacGyver, pero he tenido un buen éxito en el pasado:
coloque un viejo concentrador USB 1 entre el dispositivo y la computadora. De ninguna manera se va a copiar rápido de esa manera :-)

Otra posibilidad: si tiene otro dispositivo disponible, colóquelo en otro puerto USB conectado al mismo concentrador raíz (para que comparta el ancho de banda con su dispositivo problemático).
Ahora comience una operación de escritura grande en el dispositivo adicional para que ambos dispositivos compitan por el ancho de banda. Para un mayor control, puede usar ionice para reducir aún más la prioridad en el problema.

Puede usar rsync --bwlimit=RATEpara acelerar la velocidad de transferencia de archivos que, según los comentarios a continuación, parece funcionar específicamente al acelerar la velocidad de lectura de los datos, que es precisamente lo que está buscando.

Más soluciones, además de rsync --bwlimit=100, para 100KiB / s.

1. Úselo ddrescuecon la --max-read-rateopción para una copia completa del disco. Esto también le permitirá reiniciar una copia de disco completa donde la dejó después de un error.

   ddrescue --max-read-rate=100K /failing/usb output.img output.logfile
   

ddrescuetambién tiene muchas otras opciones relevantes para la recuperación de datos, consulte el manual aquí .

2. Use pv("visor de tuberías") con la --rate-limitopción, o la throttleherramienta para calificar las tuberías de límite. pvTambién puede mostrar progreso. Puede hacer que esto funcione para cualquier herramienta que use una tubería o pueda usar una tubería:

   tar -cf - /failing/usb | throttle -K 100 | tar -C /your/outputfolder/ -xvf -
   

   o

   tar -cf - /failing/usb | pv --rate-limit 100k | tar -C /your/outputfolder/  -xvf -
   

   Eche un vistazo a la página de manual de pv para obtener más configuraciones y ejemplos. Para throttle, es posible que también desee probar la -wopción, que determina cómo se calcula la velocidad, consulte la página de manual del acelerador .