Verifique la corrección de los archivos copiados

Después de copiar, digamos más de 50 GB (30,000 archivos que incluyen diferentes formatos) de archivos desde un disco duro interno a un disco externo, ¿hay alguna forma de averiguar si todo se ha copiado correctamente? Además, si me detengo cancelando la operación y luego digo fusionar al continuar la operación, ¿será correcta la corrección?

Podría usar aplicaciones como, back-in-timepero soy muy selectivo al copiar archivos y para la próxima vez tengo la intención de usar la copyoperación y decir en mergelugar de replace. ¿Es aconsejable al copiar una gran cantidad de archivos?

Estoy usando hashdeep para verificar copias de seguridad / restauraciones y ocasionalmente para verificar la corrupción del sistema de archivos en un RAID.

La velocidad depende de las funciones hash que use (algunas requieren más CPU que otras), así como la velocidad de lectura de sus discos. En mi sistema hashdeeppuedo procesar o verificar alrededor de 1 TB / hora con md5 y 300 MB / s de velocidad de lectura.

Ejemplo sobre el cálculo de sumas de verificación y su almacenamiento en un archivo:

cd my-data
hashdeep -rlc md5 . > ~/checksums.txt

Parámetros:

• r - recursivo
• l - usar caminos relativos
• c - especificar la función hash
• . - recursivo comenzando en el directorio actual
• > - redirige la salida al archivo especificado

Ver la página del manual .

Ejemplo para verificar sumas de verificación e imprimir una lista de diferencias:

$ cd /mnt/my-backup
$ hashdeep -ravvl -k ~/checksums.txt .
hashdeep: Audit passed
          Files matched: 40914
Files partially matched: 0
            Files moved: 0
        New files found: 0
  Known files not found: 0

Parámetros:

• a - auditoría (comparar con la lista de sumas de verificación conocidas)
• v- detallado (para obtener una lista de desajustes, múltiples vs significa más detallado)
• k - archivo de hashes conocidos

Tenga en cuenta que a partir de marzo de 2016 hashdeepparece estar abandonado .

Parece la tarea perfecta para rsync . Rsync está comparando y copiando diferencias.

La rsyncutilidad apareció por primera vez en mi mente cuando vi tu pregunta. Hacer algo como a continuación podría mostrar rápidamente qué archivos están en el directorio apero no en b:

$ rsync -rcnv a/* b/

-r will recurse into the directories
-c will compare based on file checksum
-n will run it as a "dry run" and make no changes, but just print out the files 
   that would be updated
-v will print the output to stdout verbosely

Esta es una buena opción porque también puede comparar el contenido de los archivos para asegurarse de que coincidan. rsyncEl algoritmo delta está optimizado para este tipo de casos de uso. Luego, si desea hacer bcoincidir el contenido de a, simplemente puede eliminar la -nopción para realizar la sincronización real.

Algunas preguntas relacionadas:

• /programming/19396718/compare-files-in-two-directory-on-remote-server-using-unix
• /unix/57305/rsync-compare-directories

Si las aplicaciones GUI sugeridas en la herramienta de comparación de archivos y directorios? no lo haga por usted, intente diff -rq /path/to/one /path/to/otherrepetir a través de ambos directorios en silencio, registrando solo las diferencias en la pantalla.

La situación que estás diciendo es demasiado compleja. Aunque puede escribir un script para calcular MD5 de todos los archivos que desea copiar y luego compararlos con los copiados:

• http://dll.nu/md5i/
• http://www.unix.com/unix-desktop-dummies-questions-answers/156854-script-compare-md5.html

Si quieres algo simple y rápido (no funcionará en escenarios muy complejos) puedes usar Meld

sudo apt-get install meld

En "si todo se ha copiado correctamente", utilizo un cp (o mv) modificado que incluye suma de comprobación (opcionalmente almacenada en xattr, por lo tanto, solo debe calcularse una vez para la fuente) http://sourceforge.net/projects / crcsum /