rsync excluir según .gitignore & .hgignore & svn: ignorar como --filter =: C

Rsync incluye una opción ingeniosa --cvs-excludepara "ignorar archivos de la misma manera que lo hace CVS", pero CVS ha estado obsoleto durante años. ¿Hay alguna forma de hacer que también excluya archivos que serían ignorados por los sistemas de control de versiones modernos (Git, Mercurial, Subversion)?

Por ejemplo, tengo muchos proyectos de Maven extraídos de GitHub. Por lo general, incluyen una .gitignorelista al menos target, el directorio de compilación predeterminado de Maven (que puede estar presente en el nivel superior o en submódulos). Dado que el contenido de estos directorios es completamente desechable y pueden ser mucho más grandes que el código fuente, me gustaría excluirlos al usar rsync para las copias de seguridad.

Por supuesto que puedo explícitamente, --exclude=target/pero eso suprimirá accidentalmente directorios no relacionados que simplemente tienen un nombre targety no se supone que deben ignorarse.

Y podría proporcionar una lista completa de rutas absolutas para todos los nombres de archivo y los patrones mencionadas en cualquiera de .gitignore, .hgignoreo svn:ignorela propiedad en mi disco, pero esto sería una lista enorme que tendría que ser producida por una especie de guión.

Dado que rsync no tiene soporte incorporado para las comprobaciones de VCS que no sean CVS, ¿hay algún buen truco para alimentarlo con sus patrones de ignorar? ¿O algún tipo de sistema de devolución de llamada mediante el cual se le puede preguntar a un script de usuario si un archivo / directorio determinado debe incluirse o no?

Actualización : --filter=':- .gitignore'como sugiere LordJavac, parece funcionar tan bien para Git como --filter=:Cpara CVS, al menos en los ejemplos que he encontrado, aunque no está claro si la sintaxis es una coincidencia exacta. --filter=':- .hgignore'no funciona muy bien para Mercurial; por ejemplo, rsync no reconoce como expresión regular un que .hgignorecontenga una línea como ^target$(el equivalente Mercurial de Git /target/). Y nada parece funcionar para Subversion, para lo cual tendría que analizar .svn/dir-prop-baseuna copia de trabajo 1.6 o anterior, y levantar las manos consternado por una copia de trabajo 1.7 o posterior.

Como lo mencionó luksan, puede hacer esto con el --filtercambio a rsync. --filter=':- .gitignore'Logré esto con (hay un espacio antes de ".gitignore") que dice rsynchacer una fusión de directorio con .gitignorearchivos y hacer que se excluyan según las reglas de git. Es posible que también desee agregar su archivo de ignorar global, si tiene uno. Para que sea más fácil de usar, creé un alias en el rsyncque se incluía el filtro.

Puede utilizar git ls-filespara crear la lista de archivos excluidos por los archivos del repositorio .gitignore. https://git-scm.com/docs/git-ls-files

Opciones:

• --exclude-standardConsidere todos los .gitignorearchivos.
• -o No ignore los cambios sin etapas.
• -i Salida solo archivos ignorados.
• --directory Solo muestre la ruta del directorio si se ignora todo el directorio.

Lo único que dejé por ignorar fue .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

¿qué tal rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
Funcionó para mí.
Creo que también puedes tener más --exclude-fromparámetros.

Solución 2018 confirmada

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Detalles: --exclude-from es obligatorio en lugar de --excluir porque el caso probable de que la lista de exclusión no se analizaría como argumento. Excluir de requiere un archivo y no puede funcionar con tuberías.

La solución actual guarda el archivo de exclusión dentro de la carpeta .git para garantizar que no afecte git statusmientras se mantiene autónomo. Si lo desea, puede utilizar / tmp.

Para mercurial podrías usar

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

para recopilar la lista de archivos que NO están bajo control mercurial debido a restricciones .hgignore y luego ejecutar

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

para rsync todos los archivos excepto los ignorados. Observe el indicador -m en rsync que excluirá los directorios vacíos de la sincronización porque hg status -i solo enumeraría los archivos excluidos, no los directorios

Prueba esto:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Puede copiar todos los archivos al directorio remoto excluyendo los archivos en '.gitignore' y eliminar archivos que no estén en su directorio actual.

Según la rsyncpágina del manual, además de la lista estándar de patrones de archivo:

los archivos enumerados en $ HOME / .cvsignore se agregan a la lista y cualquier archivo enumerado en la variable de entorno CVSIGNORE

Entonces, mi archivo $ HOME / .cvsignore se ve así:

.git/
.sass-cache/

para excluir .git y los archivos generados por Sass .

Tenía varios .gitignorearchivos muy grandes y ninguna de las soluciones de "rsync puro" funcionó para mí. Escribí este script de envoltura rsync , respeta completamente las .gitignorereglas (incluye !excepciones de estilo y .gitignorearchivos en subdirectorios) y ha funcionado como un encanto para mí.

Consulte la sección REGLAS DEL FILTRO DE FUSIÓN DE ARCHIVOS en rsync (1).

Parece que es posible crear una regla de filtro rsync que incluirá archivos .gitignore a medida que atraviesa la estructura del directorio.

En lugar de crear filtros de exclusión, puede usar git ls-filespara seleccionar cada archivo para rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Esto funciona aunque git ls-filesdevuelve rutas separadas por saltos de línea. Probablemente no funcionará si ha versionado archivos con espacios en los nombres de archivo.

Alternativas:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(rsync solo entiende parcialmente .gitignore)

Respuesta corta

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Significado de los parámetros:

-r: recursivo

--info=...: muestra el progreso

--filter=...: excluir según las reglas enumeradas en el archivo .gitignore