Cómo eliminar blobs sin referencia de mi repositorio de git

Tengo un repositorio de GitHub que tenía dos ramas: master y release.

La rama de lanzamiento contenía archivos de distribución binarios que contribuían a un tamaño de repositorio muy grande (> 250 MB), así que decidí limpiar las cosas.

Primero eliminé la rama de lanzamiento remoto, a través de git push origin :release

Luego eliminé la rama de lanzamiento local. Primero lo intenté git branch -d release, pero git dijo "error: la rama 'release' no es un antepasado de tu HEAD actual". lo cual es cierto, entonces lo hice git branch -D releasepara forzar su eliminación.

Pero el tamaño de mi repositorio, tanto localmente como en GitHub, seguía siendo enorme. Entonces revisé la lista habitual de comandos de git, como git gc --prune=today --aggressive, sin suerte.

Siguiendo las instrucciones de Charles Bailey en SO 1029969 pude obtener una lista de SHA1 para las manchas más grandes. Luego utilicé el script de SO 460331 para encontrar los blobs ... y los cinco más grandes no existen, aunque se encuentran blobs más pequeños, así que sé que el script está funcionando.

Creo que estos blogs son los binarios de la rama de lanzamiento, y de alguna manera se quedaron después de eliminar esa rama. ¿Cuál es la forma correcta de deshacerse de ellos?

... y sin más preámbulos, puedo presentarles este útil comando, "git-gc-all", garantizado para eliminar toda su basura git hasta que puedan aparecer variables de configuración adicionales:

git -c gc.reflogExpire=0 -c gc.reflogExpireUnreachable=0 -c gc.rerereresolved=0 -c gc.rerereunresolved=0 -c gc.pruneExpire=now gc

Es posible que también necesites ejecutar algo como esto primero, ¡oh, cielos, git es complicado!

git remote rm origin
rm -rf .git/refs/original/ .git/refs/remotes/ .git/*_HEAD .git/logs/
git for-each-ref --format="%(refname)" refs/original/ | xargs -n1 --no-run-if-empty git update-ref -d

Es posible que también deba eliminar algunas etiquetas, gracias Zitrax:

git tag | xargs git tag -d

Puse todo esto en un script: git-gc-all-ferocious .

Como se describe aquí , si desea eliminar permanentemente todo lo que se hace referencia solo a través de reflog , simplemente use

git reflog expire --expire-unreachable=now --all
git gc --prune=now

git reflog expire --expire-unreachable=now --allelimina todas las referencias de confirmaciones inalcanzables en reflog.

git gc --prune=now elimina las propias confirmaciones.

Atención : Solo el uso git gc --prune=nowno funcionará ya que esas confirmaciones todavía se hacen referencia en el reflog. Por lo tanto, borrar el reflog es obligatorio. También tenga en cuenta que si lo usa rereretiene referencias adicionales no borradas por estos comandos. Consulte git help rererepara obtener más detalles. Además, cualquier confirmación a la que hagan referencia las ramas o etiquetas locales o remotas no se eliminará porque git las considera datos valiosos.

Como se menciona en esta respuesta SO , ¡en git gcrealidad puede aumentar el tamaño del repositorio!

Ver también este hilo

Ahora git tiene un mecanismo de seguridad para no eliminar objetos sin referencia de inmediato cuando se ejecuta ' git gc'.
De forma predeterminada, los objetos sin referencia se guardan durante un período de 2 semanas. Esto es para facilitarle la recuperación de ramas o confirmaciones borradas accidentalmente, o para evitar una carrera en la que un objeto recién creado en el proceso de ser pero aún no referenciado podría ser eliminado por un git gcproceso que se ejecuta en paralelo.

Entonces, para dar ese período de gracia a los objetos empaquetados pero sin referencia, el proceso de reempaquetado empuja esos objetos sin referencia fuera del paquete a su forma suelta para que puedan envejecer y eventualmente podar.
Sin embargo, los objetos que quedan sin referencia no suelen ser tantos. Tener 404855 objetos sin referencia es bastante, y enviar esos objetos en primer lugar a través de un clon es estúpido y una completa pérdida de ancho de banda de la red.

De todos modos ... Para resolver su problema, simplemente necesita ejecutar ' git gc' con el --prune=nowargumento para deshabilitar ese período de gracia y deshacerse de esos objetos sin referencia de inmediato (seguro solo si no se están realizando otras actividades de git al mismo tiempo, lo que debería ser fácil de asegurar en una estación de trabajo).

Y por cierto, usando ' git gc --aggressive' con una versión posterior de git (o ' git repack -a -f -d --window=250 --depth=250')

El mismo hilo menciona :

 git config pack.deltaCacheSize 1

Eso limita el tamaño de la caché delta a un byte (desactivándolo efectivamente) en lugar del valor predeterminado de 0, lo que significa ilimitado. Con eso, puedo volver a empaquetar ese repositorio usando el git repackcomando anterior en un sistema x86-64 con 4GB de RAM y usando 4 subprocesos (este es un núcleo cuádruple). Sin embargo, el uso de memoria residente crece a casi 3.3GB.

Si su máquina es SMP y no tiene suficiente RAM, puede reducir la cantidad de subprocesos a solo uno:

git config pack.threads 1

Además, puede limitar aún más el uso de memoria con --window-memory argumentto ' git repack'.
Por ejemplo, el uso --window-memory=128Mdebe mantener un límite superior razonable en el uso de la memoria de búsqueda delta, aunque esto puede resultar en una coincidencia delta menos óptima si el repositorio contiene muchos archivos grandes.

En el frente de la rama de filtro, puede considerar (con cautela) este script

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch otherwise leaves behind for a long time
rm -rf .git/refs/original/ && git reflog expire --all &&  git gc --aggressive --prune

git gc --prune=now, o nivel bajo git prune --expire now.

Cada vez que tu HEAD se mueve, git rastrea esto en el reflog. Si eliminó las confirmaciones, todavía tiene "confirmaciones colgantes" porque todavía se hace referencia a ellasreflog durante ~ 30 días. Esta es la red de seguridad cuando elimina confirmaciones por accidente.

Puede usar el git reflogcomando eliminar confirmaciones específicas, reempaquetar, etc., o simplemente el comando de alto nivel:

git gc --prune=now

Puede utilizar git forget-blob.

El uso es bastante sencillo git forget-blob file-to-forget. Puedes obtener más información aquí

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Desaparecerá de todas las confirmaciones en su historial, reflog, etiquetas, etc.

Me encuentro con el mismo problema de vez en cuando, y cada vez que tengo que volver a esta publicación y a otras, es por eso que automaticé el proceso.

Créditos a contribuyentes como Sam Watkins

Intente usar git-filter-branch ; no elimina las manchas grandes, pero puede eliminar los archivos grandes que especifique de todo el repositorio. Para mí, reduce el tamaño del repositorio de cientos MB a 12 MB.

A veces, la razón por la que "gc" no sirve de mucho es que hay un cambio de base sin terminar o un alijo basado en una confirmación anterior.

Para agregar otro consejo, no olvide usar git remote prune para eliminar las ramas obsoletas de sus controles remotos antes de usar git gc

puedes verlos con git branch -a

A menudo es útil cuando se obtiene de github y repositorios bifurcados ...

Antes de hacer git filter-branchy git gc, debe revisar las etiquetas que están presentes en su repositorio. Cualquier sistema real que tenga etiquetado automático para cosas como la integración continua y las implementaciones hará que los objetos no deseados aún sean referenciados por estas etiquetas, por lo tantogc lo no puede eliminarlos y aún se preguntará por qué el tamaño del repositorio sigue siendo tan grande.

La mejor manera de deshacerse de todas las cosas no deseadas es ejecutar git-filterygit gc y luego empujar master a un nuevo repositorio desnudo. El nuevo repositorio desnudo tendrá el árbol limpiado.