Quiero hacer una nueva copia nueva de una gran cantidad de archivos de una unidad local a otra.

He leído que rsync hace una comparación de archivos de suma de comprobación cuando los envía a una máquina remota a través de una red.

1. ¿Hará rsync la comparación al copiar los archivos entre dos unidades locales?

2. Si hace una verificación, ¿es una apuesta segura? ¿O es mejor hacer una comparación byte por byte?

rsync siempre usa sumas de verificación para verificar que un archivo se transfirió correctamente. Si el archivo de destino ya existe, rsync puede omitir la actualización del archivo si la hora y el tamaño de la modificación coinciden con el archivo de origen, pero si rsync decide que los datos deben transferirse, las sumas de verificación siempre se usan en los datos transferidos entre los procesos rsync de envío y recepción . Esto verifica que los datos recibidos son los mismos que los datos enviados con alta probabilidad, sin la pesada sobrecarga de una comparación de nivel de bytes a través de la red.

Una vez que se reciben los datos del archivo, rsync escribe los datos en el archivo y confía en que si el núcleo indica una escritura exitosa, los datos se escribieron sin daños en el disco. rsync no vuelve a leer los datos y se compara con la suma de verificación conocida como una verificación adicional.

En cuanto a la verificación en sí, para el protocolo 30 y más allá (admitido por primera vez en 3.0.0), rsync usa MD5 . Para protocolos más antiguos, la suma de comprobación utilizada es MD4 .

Si bien durante mucho tiempo se consideró obsoleto para los hashes criptográficos seguros, MD5 y MD4 siguen siendo adecuados para verificar la corrupción de archivos.

Fuente: la página man y mirando el código fuente rsync para verificar.

rsyncno no hacer la verificación posterior a la copia de la copia de archivos locales. Puede verificar que no es así rsyncal copiar un archivo grande en una unidad lenta (es decir, USB) y luego copiar el mismo archivo con cp, es decir:

time rsync bigfile /mnt/usb/bigfile

time cp bigfile /mnt/usb/bigfile

Ambos comandos toman aproximadamente la misma cantidad de tiempo, por rsynclo tanto, no es posible que estén haciendo la suma de verificación, ya que eso implicaría volver a leer el archivo de destino del disco lento.

La manpágina lamentablemente es engañosa sobre esto. También verifiqué esto con: una vez que stracela copia está completa, rsyncno emite read()llamadas en el archivo de destino, por lo que no puede ser suma de verificación. Una más que puedes verificar es con algo como iotop: ves rsynchaciendo lectura y escritura simultáneamente (copiando desde el origen al destino), luego sale. Si se verificara la integridad, habría una fase de solo lectura.

rsyncrealiza una comparación de suma de comprobación antes de copiar (en algunos casos), para evitar copiar lo que ya está allí. El objetivo de la comparación de la suma de verificación no es verificar que la copia haya sido exitosa. Ese es el trabajo de la infraestructura subyacente: los controladores del sistema de archivos, los controladores de disco, los controladores de red, etc. Las aplicaciones individuales como las rsyncque no necesitan molestarse con esta locura. Todo lo que rsyncdebe hacer (¡y lo hace!) Es verificar los valores de retorno de las llamadas al sistema para asegurarse de que no haya ningún error.

Respuestas rápidas y sucias, directamente a las preguntas.

P: ¿Hará rsyncla comparación al copiar los archivos entre dos unidades locales? R: Hará una comparación para descubrir qué copiar.

P: Si hace una verificación, ¿es una apuesta segura? ¿O es mejor hacer una comparación byte por byte? A: tan seguro como las matemáticas detrás de la suma de comprobación MD5 del archivo. Puede intentar hacer un experimento simple para aprender y confiar en la herramienta.

Respuesta larga: supongo que querías rsynchacer una comparación de archivos (poco a poco o por suma de verificación) después de copiar los archivos. Si usted es uno de los pocos que valora la integridad de los datos, puede encontrar útil lo siguiente:

rsync -avh [source] [destination] && rsync -avhc [source] [destination] 

la rsynccarpeta de archivos de código anterior en la primera ejecución y, si se completa sin problemas, se ejecutará rsyncnuevamente inmediatamente mientras se realiza la comparación del mismo nombre de archivo utilizando el hash de todo el archivo.

Usando rsync para verificar la integridad de un duplicado

Para garantizar que esta prueba vuelva a leer físicamente los archivos de los medios de la unidad, sugiero apagar ambas unidades y reiniciarlas antes de ejecutar esta prueba. Esto eliminará sus cachés volátiles internos.

Si no también reinicia Linux, al menos debe soltar los cachés ( * ) con:

sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'

Luego, para volver a leer ambos árboles y comparar sus sumas de verificación:

rsync --dry-run --checksum --itemize-changes --archive SRC DEST

La suma de comprobación rsync moderna usa MD5, que es de 128 bits. La probabilidad de que esto no detecte un error en un archivo individual es astronómicamente baja (alguna discusión aquí ), pero no imposible.