¿Cómo funciona git calcular los hashes de archivos?

Los hash SHA1 almacenados en los objetos del árbol (tal como los devuelve git ls-tree) no coinciden con los hashes SHA1 del contenido del archivo (tal como los devuelve sha1sum)

$ git cat-file blob 4716ca912495c805b94a88ef6dc3fb4aff46bf3c | sha1sum
de20247992af0f949ae8df4fa9a37e4a03d7063e  -

¿Cómo funciona git calcular los hashes de archivos? ¿Comprime el contenido antes de calcular el hash?

Git prefija el objeto con "blob", seguido de la longitud (como un entero legible para humanos), seguido de un carácter NUL

$ echo -e 'blob 14\0Hello, World!' | shasum 8ab686eafeb1f44702738c8b0f24f2567c36da6d

Fuente: http://alblue.bandlem.com/2011/08/git-tip-of-week-objects.html

Solo estoy ampliando la respuesta @Leif Gruenwoldty detallando lo que está en la referencia proporcionada por@Leif Gruenwoldt

Hazlo tu mismo..

• Paso 1. Cree un documento de texto vacío (el nombre no importa) en su repositorio
• Paso 2. Etapa y comprometer el documento
• Paso 3. Identifica el hash del blob ejecutando git ls-tree HEAD
• Paso 4. Encuentra el hash del blob para ser e69de29bb2d1d6434b8b29ae775ad8c2e48c5391
• Paso 5. Sal de tu sorpresa y lee a continuación

¿Cómo calcula GIT sus hashes de confirmación?

    Commit Hash (SHA1) = SHA1("blob " + <size_of_file> + "\0" + <contents_of_file>)

El texto blob⎵es un prefijo constante y \0también es constante y es el NULLcarácter. El <size_of_file>y <contents_of_file>varían según el archivo.

Ver: ¿Cuál es el formato de archivo de un objeto git commit?

Y eso es todo amigos!

¡Pero espera! , ¿notó que <filename>no es un parámetro utilizado para el cálculo de hash? Dos archivos podrían tener el mismo hash si su contenido es igual a la fecha y hora en que se crearon y su nombre. Esta es una de las razones por las que Git maneja los movimientos y renombra mejor que otros sistemas de control de versiones.

Hágalo usted mismo (Ext)

• Paso 6. Cree otro archivo vacío con otro diferente filenameen el mismo directorio
• Paso 7. Compara los hash de tus dos archivos.

Nota:

El enlace no menciona cómo treese hashiza el objeto. No estoy seguro del algoritmo y los parámetros, sin embargo, según mi observación, probablemente calcula un hash basado en todo blobsy trees(sus hashes probablemente) contiene

git hash-object

Esta es una forma rápida de verificar su método de prueba:

s='abc'
printf "$s" | git hash-object --stdin
printf "blob $(printf "$s" | wc -c)\0$s" | sha1sum

Salida:

f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f
f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f  -

donde sha1sumestá en GNU Coreutils.

Luego se trata de comprender el formato de cada tipo de objeto. Ya hemos cubierto lo trivial blob, aquí están los otros:

• commit: ¿Cuál es el formato de archivo de un objeto git commit?
• tree: ¿Cuál es el formato interno de un objeto git tree?
• etiqueta: ¿Cómo se crea un objeto de etiqueta Git SHA1?

Basado en la respuesta de Leif Gruenwoldt , aquí hay un sustituto de la función de shell para git hash-object:

git-hash-object () { # substitute when the `git` command is not available
    local type=blob
    [ "$1" = "-t" ] && shift && type=$1 && shift
    # depending on eol/autocrlf settings, you may want to substitute CRLFs by LFs
    # by using `perl -pe 's/\r$//g'` instead of `cat` in the next 2 commands
    local size=$(cat $1 | wc -c | sed 's/ .*$//')
    ( echo -en "$type $size\0"; cat "$1" ) | sha1sum | sed 's/ .*$//'
}

Prueba:

$ echo 'Hello, World!' > test.txt
$ git hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d
$ git-hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d

Necesitaba esto para algunas pruebas unitarias en Python 3, así que pensé en dejarlo aquí.

def git_blob_hash(data):
    if isinstance(data, str):
        data = data.encode()
    data = b'blob ' + str(len(data)).encode() + b'\0' + data
    h = hashlib.sha1()
    h.update(data)
    return h.hexdigest()

Me apego a los \nfinales de línea en todas partes, pero en algunas circunstancias Git también podría estar cambiando los finales de línea antes de calcular este hash, por lo que es posible que también necesites uno .replace('\r\n', '\n')allí.