Convierta finales de línea para todo el árbol de directorios (Git)

162

Siguiente situación:

Estoy trabajando en una Mac con OS X y recientemente me uní a un proyecto cuyos miembros hasta ahora todos usan Windows. Una de mis primeras tareas fue configurar la base de código en un repositorio de Git, así que saqué el árbol de directorios de FTP e intenté ingresarlo en el repositorio de Git que había preparado localmente. Al intentar hacer esto, todo lo que obtuve fue esto

fatal: CRLF would be replaced by LF in blog/license.txt.

Como esto afecta a todos los archivos debajo de la carpeta "blog", estoy buscando una manera de convertir convenientemente TODOS los archivos del árbol a finales de línea de Unix. ¿Existe alguna herramienta que haga eso de forma inmediata o me hago una secuencia de comandos?

Como referencia, mi configuración de Git con respecto a los finales de línea:

core.safecrlf=true
core.autocrlf=input
Lunikon
fuente

Respuestas:

268

dos2unix hace eso por ti. Proceso bastante sencillo.
dos2unix filename

Gracias a toolbear, aquí hay una línea que reemplaza recursivamente los finales de línea y maneja adecuadamente espacios en blanco, comillas y metacaracteres de shell.

find . -type f -exec dos2unix {} \;

Si está utilizando dos2unix 6.0, los archivos binarios serán ignorados.

Andy
fuente
8
find blog -type f | xargs dos2unixDebería ser más rápido. Tampoco necesita -name *.*ninguno, a menos que desee específicamente solo archivos con un punto en algún lugar del nombre. Eso es un globo de Windows, no uno * nix.
Inútil
15
Tubería finda xargsfallará si findlos partidos los archivos con espacios en blanco, citas, u otros caracteres cáscara meta en su camino. Como mínimo, find blog -type f -print0 | xargs -0 dos2unixpara manejar el caso del espacio en blanco. Debe usar find's en -execlugar de tuberías para evitar comillas, etc. La dos2unixpágina de manual no especifica cuál es su comportamiento si lo invoca en archivos binarios. Si convierte CRLF en archivos binarios, los corromperá. Vea mi respuesta para una alternativa más segura, aunque más larga.
toolbear
1
@lukmdo, que no es la versión instalada en centos 6.4 ..... que los golpea ... en su lugar, tuve que d / l desde aquí rpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0
Anexo: La CLI de dos2unix se instala más fácilmente a través de Homebrew (y no npm).
2540625
2
¿Cómo podría uno ignorar directorios usando este enfoque, si es posible?
datatype_void
50

Suponiendo que tiene GNU grepy perlesto convertirá recursivamente CRLF a LF en archivos no binarios en el directorio actual:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

Cómo funciona

Encuentra recursivamente en el directorio actual; cambiar .a blogo whatevsubdirectorios para limitar la sustitución:

find .

Solo coincide con archivos normales:

  -type f

Probar si el archivo contiene CRLF. Excluir archivos binarios. Ejecuta grepcomandos para cada archivo normal. Ese es el precio de excluir binarios. Si tiene una versión anterior grep, puede intentar crear una prueba con el filecomando:

  -exec grep -qIP '\r\n' {} ';'

Reemplace CRLF con LF. El '+'con el segundo -execle dice findque acumule archivos coincidentes y los pase a una (o la menor cantidad posible) de invocaciones del comando, como canalizar xargs, pero sin problemas si la ruta del archivo contiene espacios, comillas u otros metacaracteres de shell. El ien -picuenta Perl para modificar el archivo en su lugar. Podrías usar sedo awkaquí con algo de trabajo, y probablemente cambiarás '+' a ';' e invocar un proceso separado para cada partido:

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'
herramienta
fuente
66
En caso de que ayude a alguien: grep -qIP '\r\n'nunca coincide con nada en mi sistema CentOS. Cambiando a grep -qIP '\r$'trabajado.
Steve Onorato
Odio preguntar en los comentarios, pero ¿hay alguna manera de excluir una carpeta como node_modules?
datatype_void
1
@datatype_void eche un vistazo a stackoverflow.com/questions/4210042/… para saber cómo modificar la findparte del comando para excluir directorios. Sugieren usar -path, pero también puede usar -regexo -iregex, es decir, -not -regex '.*/node_modules/.*'lo que excluirá node_modulesa cualquier profundidad.
toolbear
Lo siento si me sale como una regexo bashnovato, pero ¿qué pasa con múltiples exclusiones, digo node_moduley distpor ejemplo?
datatype_void
Se requiere GNU grep para la -Pbandera. OS X cambió de GNU grep a BSD grep. Algunas alternativas para OS X: stackoverflow.com/questions/16658333/…
toolbear
28

Aquí hay una mejor opción: Swiss File Knife . Funciona de forma recursiva en subdirectorios y maneja correctamente espacios y caracteres especiales.

Todo lo que tienes que hacer es:

sfk remcr -dir your_project_directory

Bonificación: sfk también hace muchas otras conversiones. Vea a continuación la lista completa:

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

EDITAR: una palabra de precaución: tenga cuidado al ejecutar esto en carpetas que tienen archivos binarios, ya que destruirá efectivamente sus archivos, particularmente los directorios .git . Si este es tu caso, haz no ejecute sfk en toda la carpeta, sino que seleccione extensiones de archivo específicas (* .rb, * .py, etc.). Ejemplo:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md

Gui Ambros
fuente
Funciona muy bien en OSX Mavericks. No es necesario instalar nada, solo ejecute el script desde el dmg montado y su terminal aparecerá lista para funcionar.
Nate Cook
@Gui Ambros No necesita preocuparse por los archivos dentro de la carpeta .git. sfk no actualiza los archivos dentro de las carpetas ocultas de forma predeterminada.
bittusarkar
1
@bittusarkar: En el momento de mi respuesta, procesé sfkefectivamente toda mi carpeta .git y destruí un montón de binarios (de ahí mi edición ; no recuerdo si era Linux o Mac). Es posible que hayan cambiado el comportamiento predeterminado en versiones más recientes, pero aún así recomendaría especificar la extensión, para estar seguro.
Gui Ambros
1
Esto funcionó bien para mí, después de haber pasado demasiado tiempo tratando de normalizar mis repositorios utilizando los comandos git recomendados que simplemente no reparaban todos los archivos relevantes.
angularsen
1
¡Gracias! Solo usé esto para convertir un montón de archivos de forma rápida y sin dolor, y ahora puedo agregarlos al área de preparación en Git. En OSX 10.9.5, y no estoy seguro de dónde se crearon los archivos.
ryanwc
16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Esto es mucho más seguro ya que evita corromper tu repositorio de git. Agregue o reemplace .git, .svn con .bzr, .hg o cualquier fuente que controle su uso a la lista no .

codehugger
fuente
3
Esta es la mejor respuesta si no tuvo que instalar nada como dos2unix. Permite la exclusión de tipos de archivos y evita dañar los archivos de código fuente.
Raghavan
10

En OS X, esto funcionó para mí:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Advertencia: haga una copia de seguridad de su directorio antes de ejecutar este comando.

Raunak
fuente
55
Solo quiero notar que esto corrompió mi repositorio git. Lo intenté nuevamente moviendo la carpeta .git antes de ejecutarla y volviéndola a colocar después con mayor éxito.
garie
1
También notaré que esto no excluye los archivos binarios, por lo que, por ejemplo, dañará tus archivos jpgs.
Niek
0

Aquí una solución si usa sed:

find . -type f -exec sed -i 's/\r$//' {} \;

-i significa in situ, si desea crear una copia de seguridad también use -i.bak

's/\r$//'reemplazará todos los retornos de carro ( \r) al final de cada línea

Mustapha-Belkacim
fuente