¿Cómo asignar un Git SHA1 a un archivo sin Git?

Según tengo entendido, cuando Git asigna un hash SHA1 a un archivo, este SHA1 es único para el archivo en función de su contenido.

Como resultado, si un archivo se mueve de un repositorio a otro, el SHA1 para el archivo permanece igual ya que su contenido no ha cambiado.

¿Cómo calcula Git el resumen de SHA1? ¿Lo hace en el contenido completo del archivo sin comprimir?

Me gustaría emular la asignación de SHA1 fuera de Git.

Así es como Git calcula el SHA1 para un archivo (o, en términos de Git, un "blob"):

sha1("blob " + filesize + "\0" + data)

Por lo tanto, puede calcularlo usted mismo sin tener que instalar Git. Tenga en cuenta que "\ 0" es el byte NULL, no una cadena de dos caracteres.

Por ejemplo, el hash de un archivo vacío:

sha1("blob 0\0") = "e69de29bb2d1d6434b8b29ae775ad8c2e48c5391"

$ touch empty
$ git hash-object empty
e69de29bb2d1d6434b8b29ae775ad8c2e48c5391

Otro ejemplo:

sha1("blob 7\0foobar\n") = "323fae03f4606ea9991df8befbb2fca795e648fa"

$ echo "foobar" > foo.txt
$ git hash-object foo.txt 
323fae03f4606ea9991df8befbb2fca795e648fa

Aquí hay una implementación de Python:

from hashlib import sha1
def githash(data):
    s = sha1()
    s.update("blob %u\0" % len(data))
    s.update(data)
    return s.hexdigest()

Un pequeño regalo: con cáscara

echo -en "blob ${#CONTENTS}\0$CONTENTS" | sha1sum

Puede hacer que bash shell funcione para calcularlo con bastante facilidad si no tiene instalado git.

git_id () { printf 'blob %s\0' "$(ls -l "$1" | awk '{print $5;}')" | cat - "$1" | sha1sum | awk '{print $1}'; }

Eche un vistazo a la página de manual de git-hash-object . Puede usarlo para calcular el hash git de cualquier archivo en particular. Yo creo que alimenta git algo más que el contenido del archivo en el algoritmo de hash, pero no sé a ciencia cierta, y si no se alimentan de datos adicionales, no sé lo que es.

/// Calculates the SHA1 for a given string
let calcSHA1 (text:string) =
    text 
      |> System.Text.Encoding.ASCII.GetBytes
      |> (new System.Security.Cryptography.SHA1CryptoServiceProvider()).ComputeHash
      |> Array.fold (fun acc e -> 
           let t = System.Convert.ToString(e, 16)
           if t.Length = 1 then acc + "0" + t else acc + t) 
           ""
/// Calculates the SHA1 like git
let calcGitSHA1 (text:string) =
    let s = text.Replace("\r\n","\n")
    sprintf "blob %d%c%s" (s.Length) (char 0) s
      |> calcSHA1

Esta es una solución en F #.

Implementación completa de Python3:

import os
from hashlib import sha1

def hashfile(filepath):
    filesize_bytes = os.path.getsize(filepath)

    s = sha1()
    s.update(b"blob %u\0" % filesize_bytes)

    with open(filepath, 'rb') as f:
        s.update(f.read())

    return s.hexdigest() 

En perl:

#!/usr/bin/env perl
use Digest::SHA1;

my $content = do { local $/ = undef; <> };
print Digest::SHA1->new->add('blob '.length($content)."\0".$content)->hexdigest(), "\n";

Como un comando de shell:

perl -MDigest::SHA1 -E '$/=undef;$_=<>;say Digest::SHA1->new->add("blob ".length()."\0".$_)->hexdigest' < file

Y en Perl (ver también Git :: PurePerl en http://search.cpan.org/dist/Git-PurePerl/ )

use strict;
use warnings;
use Digest::SHA1;

my @input = <>;

my $content = join("", @input);

my $git_blob = 'blob' . ' ' . length($content) . "\0" . $content;

my $sha1 = Digest::SHA1->new();

$sha1->add($git_blob);

print $sha1->hexdigest();

Usando Ruby, podrías hacer algo como esto:

require 'digest/sha1'

def git_hash(file)
  data = File.read(file)
  size = data.bytesize.to_s
  Digest::SHA1.hexdigest('blob ' + size + "\0" + data)
end

Un pequeño script de Bash que debería producir resultados idénticos para git hash-object:

#!/bin/sh
( 
    echo -en 'blob '"$(stat -c%s "$1")"'\0';
    cat "$1" 
) | sha1sum | cut -d\  -f 1

En JavaScript

const crypto = require('crypto')
const bytes = require('utf8-bytes')

function sha1(data) {
    const shasum = crypto.createHash('sha1')
    shasum.update(data)
    return shasum.digest('hex')
}

function shaGit(data) {
    const total_bytes = bytes(data).length
    return sha1(`blob ${total_bytes}\0${data}`)
}

Es interesante notar que, obviamente, Git agrega un carácter de nueva línea al final de los datos antes de que se mezcle. Un archivo que no contiene nada más que "Hello World!" obtiene un hash blob de 980a0d5 ..., que es el mismo que este:

$ php -r 'echo sha1("blob 13" . chr(0) . "Hello World!\n") , PHP_EOL;'