¿La forma más rápida de saber si dos archivos tienen el mismo contenido en Unix / Linux?

Tengo un script de shell en el que necesito verificar si dos archivos contienen los mismos datos o no. Hago esto para muchos archivos, y en mi script el diffcomando parece ser el cuello de botella en el rendimiento.

Aquí está la línea:

diff -q $dst $new > /dev/null

if ($status) then ...

¿Podría haber una forma más rápida de comparar los archivos, tal vez un algoritmo personalizado en lugar del predeterminado diff?

Creo que cmpse detendrá en la primera diferencia de bytes:

cmp --silent $old $new || echo "files are different"

Me gusta @Alex Howansky he usado 'cmp --silent' para esto. Pero necesito respuestas positivas y negativas, así que uso:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Luego puedo ejecutar esto en la terminal o con un ssh para verificar los archivos contra un archivo constante.

¿Por qué no obtienes el hash del contenido de ambos archivos?

Pruebe este script, llámelo por ejemplo script.sh y luego ejecútelo de la siguiente manera: script.sh file1.txt file2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Debido a que apesta y no tengo suficientes puntos de reputación, no puedo agregar este dato como comentario.

Pero, si va a usar el cmpcomando (y no necesita / quiere ser detallado), puede obtener el estado de salida. Por la cmppágina del manual:

Si falta un ARCHIVO '-', lea la entrada estándar. El estado de salida es 0 si las entradas son iguales, 1 si es diferente, 2 si hay problemas.

Entonces, podrías hacer algo como:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

Para los archivos que no son diferentes, cualquier método requerirá haber leído ambos archivos por completo, incluso si la lectura fue en el pasado.

No hay alternativa. Por lo tanto, crear hashes o sumas de verificación en algún momento requiere leer todo el archivo. Los archivos grandes llevan tiempo.

La recuperación de metadatos de archivos es mucho más rápida que leer un archivo grande.

Entonces, ¿hay algún metadato de archivo que pueda usar para establecer que los archivos son diferentes? Tamaño del archivo ? o incluso resultados del comando de archivo que solo lee una pequeña porción del archivo?

Fragmento de código de ejemplo de tamaño de archivo:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Si los archivos son del mismo tamaño, entonces está atascado con lecturas completas de archivos.

Intente también usar el comando cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

El comando cksum generará el recuento de bytes de un archivo. Ver 'man cksum'.

Haciendo algunas pruebas con un Raspberry Pi 3B + (estoy usando un sistema de archivos superpuestos y necesito sincronizar periódicamente), ejecuté una comparación propia para diff -q y cmp -s; tenga en cuenta que este es un registro desde adentro / dev / shm, por lo que las velocidades de acceso al disco no son un problema:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Lo corrí un par de veces. cmp -s siempre tuvo tiempos ligeramente más cortos en la caja de prueba que estaba usando. Entonces, si desea usar cmp -s para hacer cosas entre dos archivos ...

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"