Comando Unix para encontrar líneas comunes en dos archivos

Estoy seguro de que una vez encontré un comando Unix que podía imprimir las líneas comunes de dos o más archivos, ¿alguien sabe su nombre? Fue mucho más simple que diff.

El comando que estás buscando es comm. p.ej:-

comm -12 1.sorted.txt 2.sorted.txt

Aquí:

-1 : suprime la columna 1 (líneas exclusivas de 1.sorted.txt)

-2 : suprime la columna 2 (líneas exclusivas de 2.sorted.txt)

Para aplicar fácilmente el comando comm a archivos sin clasificar , use la sustitución de procesos de Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Por lo tanto, los archivos abc y def tienen una línea en común, la que tiene "132". Usando comm en archivos sin clasificar:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

La última línea no produjo salida, la línea común no fue descubierta.

Ahora usa comm en archivos ordenados, ordenando los archivos con sustitución de proceso:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

¡Ahora tenemos la línea 132!

Para complementar el Perl one-liner, aquí está su awkequivalente:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Esto leerá todas las líneas de file1la matriz arr[]y luego comprobará si cada línea file2ya existe dentro de la matriz (es decir file1). Las líneas que se encuentran se imprimirán en el orden en que aparecen file2. Tenga en cuenta que la comparación in arrutiliza la línea completa desde el file2índice hasta la matriz, por lo que solo informará coincidencias exactas en líneas completas.

Tal vez te refieres comm?

Compare los archivos ordenados FILE1 y FILE2 línea por línea.

Sin opciones, produce una salida de tres columnas. La columna uno contiene líneas exclusivas de FILE1, la columna dos contiene líneas exclusivas de FILE2 y la columna tres contiene líneas comunes a ambos archivos.

El secreto para encontrar esta información son las páginas de información. Para los programas GNU, son mucho más detallados que sus páginas de manual. Pruebe info coreutilsy le mostrará todas las pequeñas utilidades útiles.

Mientras

grep -v -f 1.txt 2.txt > 3.txt

le ofrece las diferencias de dos archivos (lo que está en 2.txt y no en 1.txt), podría hacer fácilmente un

grep -f 1.txt 2.txt > 3.txt

para recopilar todas las líneas comunes, lo que debería proporcionar una solución fácil a su problema. Si ha ordenado archivos, no commobstante , debe tomarlos . ¡Saludos!

Si los dos archivos aún no están ordenados, puede usar:

comm -12 <(sort a.txt) <(sort b.txt)

y funcionará, evitando el mensaje de error comm: file 2 is not in sorted order al hacerlo comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

En una versión limitada de Linux (como un QNAP (nas) en el que estaba trabajando):

• la comunicación no existía
• grep -f file1 file2puede causar algunos problemas como dijo @ChristopherSchultz y el uso grep -F -f file1 file2fue realmente lento (más de 5 minutos, no lo terminé, más de 2-3 segundos con el siguiente método en archivos de más de 20 MB)

Entonces, esto es lo que hice:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Si files.same.sorteddebe haber estado en el mismo orden que los originales, agregue esta línea para el mismo orden que el archivo1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

o, para el mismo orden que el archivo2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Solo como referencia si alguien todavía está buscando cómo hacer esto para varios archivos, vea la respuesta vinculada a Buscar líneas coincidentes en muchos archivos.

Combinando estas dos respuestas ( ans1 y ans2 ), creo que puede obtener el resultado que necesita sin ordenar los archivos:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Simplemente guárdelo, dele derechos de ejecución ( chmod +x compareFiles.sh) y ejecútelo. Tomará todos los archivos presentes en el directorio de trabajo actual y hará una comparación de todos contra todos dejando en el archivo "matching_lines" el resultado.

Cosas a mejorar:

• Saltar directorios
• Evite comparar todos los archivos dos veces (file1 vs file2 y file2 vs file1).
• Tal vez agregue el número de línea al lado de la cadena correspondiente

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Esto debería hacerlo.