Respaldo todas mis fotos digitales en un par de lugares. He estado usando el comando cp, pero, dado el valor personal, he comenzado a preguntarme si hay una forma más confiable. No soy ajeno a Linux, Bash, Perl, etc., por lo que podría escribir algo para copiar y comparar hash md5, pero me preguntaba si ya existe algo (reinvención, ruedas y qué no).
La mayor parte de mi búsqueda en Google para copiar y (verificar | válido | verificar | hash | confirmar) aparece rsync. Sin embargo, por lo que puedo decir, rsync solo usa hash para ver si un archivo necesita ser actualizado. No realiza una comparación hash después.
Para este uso, específicamente, los archivos son binarios y típicamente de 8-10MB. Cualquier recomendación para servicios públicos u orientación para soluciones de bricolaje sería muy apreciada.
Respuestas:
De
man rsync, bajo-copción:-c, --checksum: omisión basada en la suma de comprobación, no mod-time & size
fuente
Hace varios años tuve las mismas demandas que tú. La solución que elegí fue usar ZFS a través del controlador ZFS-FUSE en mi servidor de almacenamiento. Pensé que mis fotos personales, documentos escaneados y otros archivos similares eran cosas a las que puedo acceder solo ocasionalmente, por lo que puede pasar mucho tiempo, digamos un año o más, antes de notar que un archivo se ha dañado debido a un error de unidad o similar.
En ese momento, todas las copias de seguridad que tengo pueden ser esta versión descompuesta en bits de los archivos.
ZFS tiene un beneficio sobre RAID-5 en que puede detectar y reparar errores en los datos almacenados en los discos individuales, incluso si las unidades no informan un error de lectura mientras leen los datos. Detectará, mediante sumas de comprobación, que uno de los discos devolvió información corrupta y utilizará los datos de redundancia para reparar ese disco.
Debido a la forma en que está diseñada la suma de comprobación en ZFS, sentí que podía confiar en ella para almacenar datos usados con poca frecuencia durante largos períodos de tiempo. Cada semana ejecuto un "zpool scrub" que revisa y vuelve a leer todos los datos y verifica las sumas de verificación.
ZFS-FUSE me ha funcionado bastante bien en los últimos años.
En el pasado distante, para un cliente, implementé un sistema de base de datos que almacenaba información de suma de verificación en todos los archivos almacenados en un directorio particular. Luego tuve otro script que se ejecutaría periódicamente y verificaría el archivo contra la suma de verificación almacenada en la base de datos. Con eso, pudimos detectar rápidamente un archivo dañado y restaurar desde copias de seguridad. Básicamente, estábamos implementando los mismos tipos de controles que ZFS realiza internamente.
fuente
https://sourceforge.net/projects/crcsum/ Extiende Linux cp & mv con verificación de suma de verificación
fuente
Encontré esta utilidad (Linux y Windows) que hace exactamente lo que desea (copia hash + verificación hash con registro): http://sourceforge.net/projects/quickhash/
El único inconveniente es que solo existe como una GUI (sin acceso a la línea de comandos)
fuente
si está copiando el archivo localmente (como implica su referencia en
cplugar descpetc.), entonces solocmplos archivos de origen y destino ... pero de manera realista, sicpno está emitiendo algún tipo de error (ya sea en la línea de comando o en el valor de retorno de la ejecución), no hay ninguna razón para creer que no está funcionando.Si realmente desea una copia de seguridad legítimamente redundante, considere una solución remota como Dropbox .
fuente