¿Cómo recuperar objetos de Git dañados por una falla del disco duro?

Tuve una falla en el disco duro que resultó en que algunos archivos de un repositorio de Git se dañaran. Cuando lo ejecuto git fsck --full, obtengo el siguiente resultado:

error: .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack SHA1 checksum mismatch
error: index CRC mismatch for object 6c8cae4994b5ec7891ccb1527d30634997a978ee from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack at offset 97824129
error: inflate: data stream error (invalid code lengths set)
error: cannot unpack 6c8cae4994b5ec7891ccb1527d30634997a978ee from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack at offset 97824129
error: inflate: data stream error (invalid stored block lengths)
error: failed to read object 0dcf6723cc69cc7f91d4a7432d0f1a1f05e77eaa at offset 276988017 from .git/objects/pack/pack-6863e0a0e4b4ded6090fac5d12eba6ca7346b19c.pack
fatal: object 0dcf6723cc69cc7f91d4a7432d0f1a1f05e77eaa is corrupted

Tengo copias de seguridad del repositorio, pero la única copia de seguridad que incluye el archivo del paquete ya lo tiene dañado. Entonces creo que tengo que encontrar una manera de recuperar los objetos individuales de diferentes copias de seguridad y de alguna manera instruir a Git para que produzca un nuevo paquete con solo los objetos correctos.

¿Puede darme pistas sobre cómo arreglar mi repositorio?

En algunas copias de seguridad anteriores, es posible que los objetos defectuosos se hayan empaquetado en diferentes archivos o que todavía sean objetos sueltos. Para que sus objetos se puedan recuperar.

Parece que hay algunos objetos defectuosos en su base de datos. Así que podrías hacerlo de forma manual.

Debido a git hash-object, git mktreey git commit-treeno escriba los objetos porque se encuentran en el paquete, entonces comience a hacer esto:

mv .git/objects/pack/* <somewhere>
for i in <somewhere>/*.pack; do
  git unpack-objects -r < $i
done
rm <somewhere>/*

(Sus paquetes se mueven fuera del repositorio y se desempacan nuevamente en él; ahora solo los objetos buenos están en la base de datos)

Tu puedes hacer:

git cat-file -t 6c8cae4994b5ec7891ccb1527d30634997a978ee

y verifique el tipo de objeto.

Si el tipo es blob: recupere el contenido del archivo de copias de seguridad anteriores (con git showo git cat-fileo git unpack-file; entonces puede git hash-object -wvolver a escribir el objeto en su repositorio actual.

Si el tipo es árbol: puede utilizar git ls-treepara recuperar el árbol de copias de seguridad anteriores; luego volver git mktreea escribirlo en su repositorio actual.

Si el tipo es commit: lo mismo con git show, git cat-filey git commit-tree.

Por supuesto, haría una copia de seguridad de su copia de trabajo original antes de comenzar este proceso.

Además, eche un vistazo a Cómo recuperar un objeto blob dañado .

Banengusk me estaba poniendo en el camino correcto. Para mayor referencia, quiero publicar los pasos que tomé para corregir la corrupción de mi repositorio. Tuve la suerte de encontrar todos los objetos necesarios en paquetes más antiguos o en las copias de seguridad del repositorio.

# Unpack last non-corrupted pack
$ mv .git/objects/pack .git/objects/pack.old
$ git unpack-objects -r < .git/objects/pack.old/pack-012066c998b2d171913aeb5bf0719fd4655fa7d0.pack
$ git log
fatal: bad object HEAD

$ cat .git/HEAD 
ref: refs/heads/master

$ ls .git/refs/heads/

$ cat .git/packed-refs 
# pack-refs with: peeled 
aa268a069add6d71e162c4e2455c1b690079c8c1 refs/heads/master

$ git fsck --full 
error: HEAD: invalid sha1 pointer aa268a069add6d71e162c4e2455c1b690079c8c1
error: refs/heads/master does not point to a valid object!
missing blob 75405ef0e6f66e48c1ff836786ff110efa33a919
missing blob 27c4611ffbc3c32712a395910a96052a3de67c9b
dangling tree 30473f109d87f4bcde612a2b9a204c3e322cb0dc

# Copy HEAD object from backup of repository
$ cp repobackup/.git/objects/aa/268a069add6d71e162c4e2455c1b690079c8c1 .git/objects/aa
# Now copy all missing objects from backup of repository and run "git fsck --full" afterwards
# Repeat until git fsck --full only reports dangling objects

# Now garbage collect repo
$ git gc
warning: reflog of 'HEAD' references pruned commits
warning: reflog of 'refs/heads/master' references pruned commits
Counting objects: 3992, done.
Delta compression using 2 threads.
fatal: object bf1c4953c0ea4a045bf0975a916b53d247e7ca94 inconsistent object length (6093 vs 415232)
error: failed to run repack

# Check reflogs...
$ git reflog

# ...then clean
$ git reflog expire --expire=0 --all

# Now garbage collect again
$ git gc       
Counting objects: 3992, done.
Delta compression using 2 threads.
Compressing objects: 100% (3970/3970), done.
Writing objects: 100% (3992/3992), done.
Total 3992 (delta 2060), reused 0 (delta 0)
Removing duplicate objects: 100% (256/256), done.
# Done!

Pruebe los siguientes comandos al principio (vuelva a ejecutarlos si es necesario):

$ git fsck --full
$ git gc
$ git gc --prune=today
$ git fetch --all
$ git pull --rebase

Y luego todavía tienes los problemas, intenta:

• eliminar todos los objetos corruptos, por ejemplo

  fatal: loose object 91c5...51e5 (stored in .git/objects/06/91c5...51e5) is corrupt
  $ rm -v .git/objects/06/91c5...51e5
  

• eliminar todos los objetos vacíos, p. ej.

  error: object file .git/objects/06/91c5...51e5 is empty
  $ find .git/objects/ -size 0 -exec rm -vf "{}" \;
  

• verifique un mensaje de "enlace roto" mediante:

  git ls-tree 2d9263c6d23595e7cb2a21e5ebbb53655278dff8
  

  ¡Esto le dirá de qué archivo vino el blob corrupto!

• para recuperar el archivo, es posible que tenga mucha suerte, y puede ser la versión que ya ha verificado en su árbol de trabajo:

  git hash-object -w my-magic-file
  

  nuevamente, y si genera el SHA1 faltante (4b945 ..) ¡ya está listo!

• asumiendo que era una versión anterior que estaba rota, la forma más fácil de hacerlo es hacer:

  git log --raw --all --full-history -- subdirectory/my-magic-file
  

  y eso le mostrará el registro completo para ese archivo (tenga en cuenta que el árbol que tenía puede no ser el árbol de nivel superior, por lo que debe averiguar en qué subdirectorio estaba), entonces ahora puede volver a crear el objeto perdido con objeto hash de nuevo.

• para obtener una lista de todas las referencias con confirmaciones, árboles o blobs faltantes:

  $ git for-each-ref --format='%(refname)' | while read ref; do git rev-list --objects $ref >/dev/null || echo "in $ref"; done
  

  Puede que no sea posible eliminar algunas de esas referencias utilizando los comandos branch -d o tag -d regulares, ya que morirán si git nota la corrupción. Así que use el comando de plomería git update-ref -d $ ref en su lugar. Tenga en cuenta que en el caso de las ramas locales, este comando puede dejar una configuración obsoleta de la rama en .git / config. Se puede eliminar manualmente (busque la sección [branch "$ ref"]).

• Después de que todas las referencias estén limpias, aún puede haber confirmaciones rotas en el reflog. Puede borrar todos los reflogs usando git reflog expire --expire = now --all. Si no desea perder todos sus reflogs, puede buscar los refs individuales para reflogs rotos:

  $ (echo HEAD; git for-each-ref --format='%(refname)') | while read ref; do git rev-list -g --objects $ref >/dev/null || echo "in $ref"; done
  

  (Tenga en cuenta la opción -g agregada a git rev-list.) Luego, use git reflog expire --expire = now $ ref en cada uno de esos. Cuando desaparezcan todos los refs y reflogs rotos, ejecute git fsck --full para verificar que el repositorio esté limpio. Los objetos colgantes están bien.

A continuación puede encontrar el uso avanzado de comandos que potencialmente pueden causar la pérdida de sus datos en su repositorio de git si no se usan con prudencia, así que haga una copia de seguridad antes de dañar accidentalmente su git. Pruébelo bajo su propio riesgo si sabe lo que está haciendo.

Para tirar de la rama actual en la parte superior de la rama aguas arriba después de buscar:

$ git pull --rebase

También puede intentar pagar la nueva rama y eliminar la anterior:

$ git checkout -b new_master origin/master

Para encontrar el objeto dañado en git para su eliminación, pruebe el siguiente comando:

while [ true ]; do f=`git fsck --full 2>&1|awk '{print $3}'|sed -r 's/(^..)(.*)/objects\/\1\/\2/'`; if [ ! -f "$f" ]; then break; fi; echo delete $f; rm -f "$f"; done

Para OSX, use en sed -Elugar de sed -r.

Otra idea es descomprimir todos los objetos de los archivos del paquete para regenerar todos los objetos dentro de .git / objects, así que intente ejecutar los siguientes comandos dentro de su repositorio:

$ cp -fr .git/objects/pack .git/objects/pack.bak
$ for i in .git/objects/pack.bak/*.pack; do git unpack-objects -r < $i; done
$ rm -frv .git/objects/pack.bak

Si lo anterior no ayuda, puede intentar rsync o copiar los objetos git de otro repositorio, por ejemplo

$ rsync -varu git_server:/path/to/git/.git local_git_repo/
$ rsync -varu /local/path/to/other-working/git/.git local_git_repo/
$ cp -frv ../other_repo/.git/objects .git/objects

Para arreglar la rama rota al intentar pagar de la siguiente manera:

$ git checkout -f master
fatal: unable to read tree 5ace24d474a9535ddd5e6a6c6a1ef480aecf2625

Intente eliminarlo y vuelva a realizar el pago desde el origen:

$ git branch -D master
$ git checkout -b master github/master

En caso de que git lo lleve a un estado separado, revise mastery combine en él la rama separada.

Otra idea es rebasar el maestro existente de forma recursiva:

$ git reset HEAD --hard
$ git rebase -s recursive -X theirs origin/master

Ver también:

• Algunos trucos para reconstruir objetos blob con el fin de reparar un repositorio dañado.
• ¿Cómo arreglar un repositorio roto?
• ¿Cómo eliminar todas las referencias rotas de un repositorio?
• ¿Cómo reparar el repositorio de git dañado? (seeques)
• ¿Cómo reparar el repositorio de git dañado? (qnundrum)
• Error al usar SourceTree con Git: 'Resumen' falló con el código 128: fatal: no se puede leer el árbol
• Recuperar un repositorio Git Bare dañado
• Recuperar un repositorio de git dañado
• Cómo corregir el error de git: el objeto está vacío / dañado
• Cómo diagnosticar y reparar git fatal: no se puede leer el árbol
• Cómo lidiar con este error de git
• ¿Cómo reparar el repositorio de git dañado?
• ¿Cómo 'sobrescribo', en lugar de 'fusionar', una rama en otra rama en Git?
• ¿Cómo reemplazar la rama maestra en git, por completo, desde otra rama?
• Git: "Objeto suelto dañado"
• Git reset = fatal: no se puede leer el árbol

Estos son los pasos que seguí para recuperarme de un objeto blob corrupto.

1) Identificar blob corrupto

git fsck --full
  error: inflate: data stream error (incorrect data check)
  error: sha1 mismatch 241091723c324aed77b2d35f97a05e856b319efd
  error: 241091723c324aed77b2d35f97a05e856b319efd: object corrupt or missing
  ...

El blob dañado es 241091723c324aed77b2d35f97a05e856b319efd

2) Mueva el blob corrupto a un lugar seguro (por si acaso)

mv .git/objects/24/1091723c324aed77b2d35f97a05e856b319efd ../24/

3) Obtener padre de blob corrupto

git fsck --full
  Checking object directories: 100% (256/256), done.
  Checking objects: 100% (70321/70321), done.
  broken link from    tree 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180
              to    blob 241091723c324aed77b2d35f97a05e856b319efd

El hash principal es 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180 .

4) Obtener el nombre del archivo correspondiente al blob corrupto

git ls-tree 0716831e1a6c8d3e6b2b541d21c4748cc0ce7180
  ...
  100644 blob 241091723c324aed77b2d35f97a05e856b319efd    dump.tar.gz
  ...

Encuentre este archivo en particular en una copia de seguridad o en el repositorio de git ascendente (en mi caso es dump.tar.gz ). Luego cópielo en algún lugar dentro de su repositorio local.

5) Agregue un archivo previamente dañado en la base de datos de objetos git

git hash-object -w dump.tar.gz

6) ¡Celebra!

git gc
  Counting objects: 75197, done.
  Compressing objects: 100% (21805/21805), done.
  Writing objects: 100% (75197/75197), done.
  Total 75197 (delta 52999), reused 69857 (delta 49296)

Git Checkout puede seleccionar archivos individuales de una revisión. Solo dale el hash de confirmación y el nombre del archivo. Información más detallada aquí.

Supongo que la forma más fácil de solucionar esto de forma segura es volver a la copia de seguridad no comprometida más reciente y luego seleccionar de forma selectiva los archivos no corruptos de las confirmaciones más recientes. ¡Buena suerte!

Aquí hay dos funciones que pueden ayudar si su copia de seguridad está dañada, o si también tiene algunas copias de seguridad parcialmente dañadas (esto puede suceder si hace una copia de seguridad de los objetos dañados).

Ejecute ambos en el repositorio que está intentando recuperar.

Advertencia estándar: utilícelo solo si está realmente desesperado y ha realizado una copia de seguridad de su repositorio (dañado). Es posible que esto no resuelva nada, pero al menos debería resaltar el nivel de corrupción.

fsck_rm_corrupted() {
    corrupted='a'
    while [ "$corrupted" ]; do
        corrupted=$(                                  \
        git fsck --full --no-dangling 2>&1 >/dev/null \
            | grep 'stored in'                          \
            | sed -r 's:.*(\.git/.*)\).*:\1:'           \
        )
        echo "$corrupted"
        rm -f "$corrupted"
    done
}

if [ -z "$1" ]  || [ ! -d "$1" ]; then
    echo "'$1' is not a directory. Please provide the directory of the git repo"
    exit 1
fi

pushd "$1" >/dev/null
fsck_rm_corrupted
popd >/dev/null

y

unpack_rm_corrupted() {
    corrupted='a'
    while [ "$corrupted" ]; do
        corrupted=$(                                  \
        git unpack-objects -r < "$1" 2>&1 >/dev/null \
            | grep 'stored in'                          \
            | sed -r 's:.*(\.git/.*)\).*:\1:'           \
        )
        echo "$corrupted"
        rm -f "$corrupted"
    done
}

if [ -z "$1" ]  || [ ! -d "$1" ]; then
    echo "'$1' is not a directory. Please provide the directory of the git repo"
    exit 1
fi

for p in $1/objects/pack/pack-*.pack; do
    echo "$p"
    unpack_rm_corrupted "$p"
done

Resolví este problema para agregar algunos cambios como git add -A y git commit nuevamente.