Compare dos listas de URL e imprima las URL recién agregadas a un nuevo archivo

Inicialmente estoy produciendo dos archivos que contienen listas de URL: me referiré a ellos como oldy new. Me gustaría comparar los dos archivos y si hay URL en el newarchivo que no están en el oldarchivo, me gustaría que se muestren en un extra_urlsarchivo.

Ahora, he leído algunas cosas sobre el uso del diffcomando, pero por lo que puedo decir, esto también analiza el orden de la información. No quiero que la orden tenga ningún efecto en la salida. Solo quiero que las URL adicionales se newimpriman en el extra_urlsarchivo, sin importar el orden en que se coloquen en cualquiera de los otros dos archivos.

¿Cómo puedo hacer esto?

Puede usar el commcomando para comparar dos archivos y mostrar selectivamente líneas exclusivas de uno u otro, o las líneas en común. Requiere que las entradas se ordenen, pero puede ordenarlas sobre la marcha, utilizando la sustitución de procesos.

comm -13 <(sort old.txt) <(sort new.txt)

Si está utilizando una versión bashque no admite la sustitución de procesos, se puede emular utilizando canalizaciones con nombre. Un ejemplo se muestra en Wikipedia .

Yo solo usaría grep:

grep -vFf old new > extra_urls

Explicación

• -f: le dice grepque lea sus patrones de búsqueda de un archivo. En este caso old,.
• -v : le dice a grep que invierta la coincidencia, que solo imprima líneas no coincidentes.
• -F: le dice a grep que interprete sus patrones de búsqueda como cadenas, no como expresiones regulares. De esa manera, la .URL se combinará literalmente.

Combinados, estos hacen grepimprimir cualquier línea newque no estaba en old. El orden de las URL en el archivo es irrelevante.

Como el orden es importante para usted, use awk

awk '
    NR == FNR {old[$1]=1; next}
    !($1 in old)
' old new > extra

Tengo una aplicación llamada meld. Permite ver los dos (o tres) archivos, uno al lado del otro, muestra las diferencias y permite la copia selectiva de uno a otro o la eliminación de caracteres.

Meld se puede instalar desde un terminal con

sudo apt-get install meld