Verifique si todas las líneas de archivo aparecen en un archivo diferente

Obtuve dos archivos: archivo1 con aproximadamente 10 000 líneas y archivo2 con unos cientos de líneas. Quiero verificar si todas las líneas del archivo2 ocurren en el archivo1. Es decir: ∀ línea ℓ ∈ archivo2: ℓ ∈ archivo1

Si alguien no sabe lo que significan estos símbolos o qué significa "verificar si todas las líneas del archivo2 aparecen en el archivo1" significa: Varias líneas equivalentes en cualquiera de los archivos no influyen en si la verificación devuelve que los archivos cumplen con el requisito o no.

¿Cómo hago esto?

comm -13 <(sort -u file_1) <(sort -u file_2)

Este comando generará líneas exclusivas de file_2. Entonces, si la salida está vacía, entonces todas las file_2líneas están contenidas en file_1.

Del hombre de comunicación:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Si el número de coincidencias del archivo2 en (las líneas únicas de) archivo1 es el mismo que el número de líneas únicas en el archivo2, entonces todos están allí; de lo contrario, no lo son.

Usar GNU awkdonde admite length(array)funciones específicas (y alguna otra awkimplementación que pueda admitir) y no es necesario si se ordenan los archivos.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Esto es leer file2 en una matriz llamada seencon la clave como la línea completa de file2 .

Luego lea el archivo1 y para cada línea si coincide con las líneas en la matriz que se ve, elimine esa clave.

Al final, si la matriz estaba vacía, significa que todas las líneas del archivo 2 existen en el archivo 1 y se imprimirán Matched, de lo contrario se mostrarán Not Matched.

Por la compatibilidad en todas las awkimplementaciones.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Para ignorar líneas vacías / o líneas con espacios en blanco solo si está en el archivo 2 , necesitará agregar NFa la condición NR==FNR && NF {...para omitir su lectura en la matriz.

Utilizando commpuede encontrar líneas que son comunes en ambos archivos.

comm -12 file1 file2

Echa un vistazo man commpara más detalles

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

producirá ninguna salida si file1contiene todas las líneas en file2y salir con el estado 0, de lo contrario será algo así como imprimir

Files /proc/self/fd/11 and /proc/self/fd/12 differ

y salir con estado 1

Use un programa de Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Uso:

python3 contains-all.py file2 file1

El estado de salida del programa indica si todos los patrones del archivo 2 coincidieron:

• 0 (éxito) significa que todos los patrones coincidieron.
• 1 (falla) significa que algunos patrones no coincidieron.

Para consultar el estado de salida en una cáscara (script) que puede utilizar la $?variable especial u otras expresiones que evalúan el estado de salida de comandos, por ejemplo, operadores de cortocircuito &&y ||y expresiones condicionales como ifo while. Ejemplo:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combinefrom moreutils le mostrará todas las líneas file2que no están en file1:

combine file2 not file1

Luego puede contar el número de líneas canalizándolas wc -l, como:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi