Usar 'diff' (o cualquier otra cosa) para obtener diferencias a nivel de caracteres entre archivos de texto

Me gustaría usar 'diff' para obtener una diferencia entre líneas y caracteres. Por ejemplo, considere:

Archivo 1

abcde
abc
abcccd

Archivo 2

abcde
ab
abccc

Usando diff -u obtengo:

@@ -1,3 +1,3 @@
 abcde
-abc
-abcccd
\ No newline at end of file
+ab
+abccc
\ No newline at end of file

Sin embargo, solo me muestra que hubo cambios en estas líneas. Lo que me gustaría ver es algo como:

@@ -1,3 +1,3 @@
 abcde
-ab<ins>c</ins>
-abccc<ins>d</ins>
\ No newline at end of file
+ab
+abccc
\ No newline at end of file

Entiendes mi deriva.

Ahora, sé que puedo usar otros motores para marcar / verificar la diferencia en una línea específica. Pero prefiero usar una herramienta que lo haga todo.

Git tiene una diferencia de palabras, y definir todos los caracteres como palabras efectivamente le da una diferencia de caracteres. Sin embargo, se ignoran los cambios de nueva línea .

Ejemplo

Crea un repositorio como este:

mkdir chardifftest
cd chardifftest
git init
echo -e 'foobarbaz\ncatdog\nfox' > file
git add -A; git commit -m 1
echo -e 'fuobArbas\ncat\ndogfox' > file
git add -A; git commit -m 2

Ahora, hazlo git diff --word-diff=color --word-diff-regex=. master^ mastery obtendrás:

Tenga en cuenta cómo se reconocen tanto las adiciones como las eliminaciones a nivel de personaje, mientras que las adiciones y eliminaciones de nuevas líneas se ignoran.

También puede probar uno de estos:

git diff --word-diff=plain --word-diff-regex=. master^ master
git diff --word-diff=porcelain --word-diff-regex=. master^ master

Puedes usar:

diff -u f1 f2 |colordiff |diff-highlight

colordiffes un paquete de Ubuntu. Puede instalarlo usando sudo apt-get install colordiff.

diff-highlightes de git (desde la versión 2.9). Se encuentra en /usr/share/doc/git/contrib/diff-highlight/diff-highlight. Puede ponerlo en algún lugar de su $PATH.

El difflib de Python es excelente si quieres hacer esto de forma programática. Para uso interactivo, uso el modo diff de vim (lo suficientemente fácil de usar: simplemente invoca vim con vimdiff a b). Ocasionalmente también uso Beyond Compare , que hace casi todo lo que podrías esperar de una herramienta de diferencias.

No he visto ninguna herramienta de línea de comandos que haga esto de manera útil, pero como señala Will, el código de ejemplo difflib podría ayudar.

Puede utilizar el cmpcomando en Solaris:

cmp

Compare dos archivos y, si difieren, le indica al primer byte y al número de línea dónde difieren.

Python tiene una biblioteca conveniente nombrada difflibque podría ayudar a responder su pregunta.

A continuación se muestran dos oneliners que se utilizan difflibpara diferentes versiones de Python.

python3 -c 'import difflib, sys; \
  print("".join( \
    difflib.ndiff( \ 
      open(sys.argv[1]).readlines(),open(sys.argv[2]).readlines())))'
python2 -c 'import difflib, sys; \
  print "".join( \
    difflib.ndiff( \
      open(sys.argv[1]).readlines(), open(sys.argv[2]).readlines()))'

Estos pueden ser útiles como un alias de shell que es más fácil de mover con su .${SHELL_NAME}rc.

$ alias char_diff="python2 -c 'import difflib, sys; print \"\".join(difflib.ndiff(open(sys.argv[1]).readlines(), open(sys.argv[2]).readlines()))'"
$ char_diff old_file new_file

Y una versión más legible para poner en un archivo independiente.

#!/usr/bin/env python2
from __future__ import with_statement

import difflib
import sys

with open(sys.argv[1]) as old_f, open(sys.argv[2]) as new_f:
    old_lines, new_lines = old_f.readlines(), new_f.readlines()
diff = difflib.ndiff(old_lines, new_lines)
print ''.join(diff)

cmp -l file1 file2 | wc

Funcionó bien para mí. El número más a la izquierda del resultado indica el número de caracteres que difieren.

También escribí mi propio script para resolver este problema usando el algoritmo de subsecuencia común más largo.

Se ejecuta como tal

JLDiff.py a.txt b.txt out.html

El resultado está en html con coloración roja y verde. Los archivos más grandes requieren exponencialmente una mayor cantidad de tiempo para procesarse, pero esto hace una verdadera comparación carácter por carácter sin verificar línea por línea primero.

Color, carácter de nivel diff ouput

Esto es lo que puede hacer con el siguiente script y diff-highlight (que es parte de git):

#!/bin/sh -eu

# Use diff-highlight to show word-level differences

diff -U3 --minimal "$@" |
  sed 's/^-/\x1b[1;31m-/;s/^+/\x1b[1;32m+/;s/^@/\x1b[1;34m@/;s/$/\x1b[0m/' |
  diff-highlight

_{(Crédito a la respuesta de @ retracile por el sedresaltado)}

El difflib de Python puede hacer esto.

La documentación incluye un programa de línea de comandos de ejemplo para usted.

El formato exacto no es el que especificó, pero sería sencillo analizar la salida de estilo ndiff o modificar el programa de ejemplo para generar su notación.

Aquí hay una herramienta de comparación de texto en línea: http://text-compare.com/

Puede resaltar cada carácter que es diferente y continúa comparando el resto.

Creo que la solución más simple es siempre una buena solución. En mi caso, el siguiente código me ayuda mucho. Espero que ayude a alguien más.

#!/bin/env python

def readfile( fileName ):
    f = open( fileName )
    c = f.read()
    f.close()
    return c

def diff( s1, s2 ):
    counter=0
    for ch1, ch2 in zip( s1, s2 ):
        if not ch1 == ch2:
            break
        counter+=1
    return counter < len( s1 ) and counter or -1

import sys

f1 = readfile( sys.argv[1] )
f2 = readfile( sys.argv[2] )
pos = diff( f1, f2 )
end = pos+200

if pos >= 0:
    print "Different at:", pos
    print ">", f1[pos:end]
    print "<", f2[pos:end]

Puede comparar dos archivos con la siguiente sintaxis en su terminal favorito:

$ ./diff.py fileNumber1 fileNumber2

Si mantiene sus archivos en Git, puede diferenciar entre versiones con el script diff-highlight , que mostrará diferentes líneas, con las diferencias resaltadas.

Desafortunadamente, solo funciona cuando la cantidad de líneas eliminadas coincide con la cantidad de líneas agregadas; hay un código auxiliar para cuando las líneas no coinciden, por lo que presumiblemente esto podría solucionarse en el futuro.

No es una respuesta completa, pero si cmp -lla salida no es lo suficientemente clara, puede usar:

sed 's/\(.\)/\1\n/g' file1 > file1.vertical
sed 's/\(.\)/\1\n/g' file2 > file2.vertical
diff file1.vertical file2.vertical

La mayoría de estas respuestas mencionan el uso de diff-highlight , un módulo de Perl. Pero no quería averiguar cómo instalar un módulo Perl. Así que hice algunos cambios menores para que fuera un script Perl autónomo.

Puedes instalarlo usando:

▶ curl -o /usr/local/bin/DiffHighlight.pl \
   https://raw.githubusercontent.com/alexharv074/scripts/master/DiffHighlight.pl

Y el uso (si tiene el Ubuntu colordiffmencionado en la respuesta de zhanxw):

▶ diff -u f1 f2 | colordiff | DiffHighlight.pl

Y el uso (si no lo hace):

▶ diff -u f1 f2 | DiffHighlight.pl

ccdiffes una práctica herramienta dedicada a la tarea. Así es como se ve su ejemplo con él:

De forma predeterminada, resalta las diferencias de color, pero también se puede usar en una consola sin soporte de color.

El paquete está incluido en el repositorio principal de Debian:

ccdiff es una diferencia de color que también colorea dentro de las líneas cambiadas.

Todas las herramientas de línea de comandos que muestran la diferencia entre dos archivos se quedan cortas en mostrar cambios menores de manera visible y útil. ccdiff intenta dar la apariencia de diff --coloro colordiff, pero extendiendo la visualización de la salida en color desde líneas coloreadas eliminadas y agregadas a colores para caracteres eliminados y agregados dentro de las líneas cambiadas.