Tengo unos 15,000 archivos con nombres file_1.pdb, file_2.pdbetc. Puedo ordenar unos pocos miles de estos en orden haciendo:

cat file_{1..2000}.pdb >> file_all.pdb

Sin embargo, si hago esto para 15,000 archivos, me sale el error

-bash: /bin/cat: Argument list too long

He visto resolver este problema haciendo find . -name xx -exec xxesto, pero esto no preservaría el orden con el que se unen los archivos. ¿Cómo puedo conseguir esto?

Utilizando find, sorty xargs:

find . -maxdepth 1 -type f -name 'file_*.pdb' -print0 |
sort -zV |
xargs -0 cat >all.pdb

El findcomando encuentra todos los archivos relevantes, luego imprime sus nombres de ruta para sorthacer un "ordenamiento de versiones" para obtenerlos en el orden correcto (si los números en los nombres de archivo hubieran sido rellenados con ceros a un ancho fijo, no hubiéramos necesitado -V). xargstoma esta lista de nombres de ruta ordenados y los ejecuta caten lotes tan grandes como sea posible.

Esto debería funcionar incluso si los nombres de archivo contienen caracteres extraños como líneas nuevas y espacios. Usamos -print0with findpara dar sortnombres terminados en nulos para ordenar, y los sortmaneja usando -z. xargslee también nombres terminados en nulo con su -0bandera.

Tenga en cuenta que estoy escribiendo el resultado en un archivo cuyo nombre no coincide con el patrón file_*.pdb.

La solución anterior utiliza algunos indicadores no estándar para algunas utilidades. Estos son compatibles con la implementación de GNU de estas utilidades y al menos con la implementación de OpenBSD y macOS.

Los indicadores no estándar utilizados son

• -maxdepth 1, para hacer que findsolo ingrese el directorio superior pero no subdirectorios. POSIXY, usefind . ! -name . -prune ...
• -print0, para findgenerar nombres de ruta terminados en nulo (esto fue considerado por POSIX pero rechazado). Se podría usar-exec printf '%s\0' {} + en lugar.
• -z, para hacer sort tomar registros terminados en nulos. No hay equivalencia POSIX.
• -V, para sortordenar, por ejemplo, 200después3 . No hay equivalencia POSIX, pero podría reemplazarse por una clasificación numérica en partes específicas del nombre de archivo si los nombres de archivo tienen un prefijo fijo.
• -0, para hacer xargsregistros leídos con terminación nula. No hay equivalencia POSIX. POSIXY, uno necesitaría citar los nombres de archivo en un formato reconocido por xargs.

Si los nombres de ruta se comportan bien, y si la estructura del directorio es plana (sin subdirectorios), uno podría prescindir de estos indicadores, excepto -Vcon sort.

Con zsh(de dónde {1..15000}proviene ese operador):

autoload zargs # best in ~/.zshrc
zargs file_{1..15000}.pdb -- cat > file_all.pdb

O para todos los file_<digits>.pdbarchivos en orden numérico:

zargs file_<->.pdb(n) -- cat > file_all.pdb

(donde <x-y>es un operador global que coincide con los números decimales xay. Sin xni y, es cualquier número decimal. Equivalente a extendedglob's [0-9]##o kshglob' s +([0-9])(uno o más dígitos)).

Con ksh93, usando su catcomando incorporado (por lo que no se ve afectado por ese límite de la execve()llamada del sistema ya que no hay ejecución ):

command /opt/ast/bin/cat file_{1..15000}.pdb > file_all.pdb

Con bash/ zsh/ ksh93(que ayuda zsh's {x..y}y tienen printfincorporado):

printf '%s\n' file_{1..15000}.pdb | xargs cat > file_all.pdb

En un sistema GNU o compatible, también puede usar seq:

seq -f 'file_%.17g.pdb' 15000 | xargs cat > file_all.pdb

Para las xargssoluciones basadas, se debe tener especial cuidado con los nombres de archivos que contienen espacios en blanco, comillas simples o dobles o barras invertidas.

Me gusta para -It's a trickier filename - 12.pdb, use:

seq -f "\"./-It's a trickier filename - %.17g.pdb\"" 15000 |
  xargs cat > file_all.pdb

Un bucle for es posible, y muy simple.

for i in file_{1..15000}.pdb; do cat $i >> file_all.pdb; done

La desventaja es que invocas catmuchas veces. Pero si no puede recordar exactamente cómo hacer las cosas findy la sobrecarga de la invocación no es tan mala en su situación, entonces vale la pena tenerlo en cuenta.

seq 1 15000 | awk '{print "file_"$0".dat"}' | xargs cat > file_all.pdb

Premisa

No debe incurrir en ese error solo para 15k archivos con ese formato de nombre específico ^{[ 1 , 2 ]} .

Si está ejecutando esa expansión desde otro directorio y tiene que agregar la ruta a cada archivo, el tamaño de su comando será mayor y, por supuesto, puede ocurrir.

La solución ejecuta el comando desde ese directorio.

(cd That/Directory ; cat file_{1..2000}.pdb >> file_all.pdb )

La mejor solución Si en cambio adiviné mal y lo ejecutas desde el directorio en el que están los archivos ... En
mi humilde opinión, la mejor solución es la de Stéphane Chazelas :

seq -f 'file_%.17g.pdb' 15000 | xargs cat > file_all.pdb

con printf o seq; probado en archivos de 15k con solo su número dentro de la memoria caché previa, es incluso el más rápido (en la actualidad, excepto el OP del mismo directorio en el que se encuentran los archivos).

Algunas palabras mas

Debería poder pasar a sus líneas de comando de shell más tiempo.
Su línea de comando tiene 213914 caracteres y contiene 15003 palabras.
cat file_{1..15000}.pdb " > file_all.pdb" | wc

... incluso agregar 8 bytes para cada palabra es 333 938 bytes (0.3M) muy por debajo del 2097142 (2.1M) reportado ARG_MAXen un kernel 3.13.0 o el 2088232 ligeramente más pequeño reportado como "Longitud máxima de comando que podríamos realmente utilizar " porxargs --show-limits

Eche un vistazo en su sistema a la salida de

getconf ARG_MAX
xargs --show-limits

Solución guiada de la pereza

En casos como este, prefiero trabajar con bloques, incluso porque generalmente sale una solución eficiente en el tiempo.
La lógica (si la hay) es que soy demasiado vago para escribir 1 ... 1000 1001..2000, etc., etc.
Así que le pido a un script que lo haga por mí.
Solo después de comprobar que la salida es correcta, la redirijo a un script.

... pero la pereza es un estado mental .
Como soy alérgico a xargs(realmente debería haberlo usado xargsaquí) y no quiero comprobar cómo usarlo, termino puntualmente para reinventar la rueda como en los ejemplos a continuación (tl; dr).

Tenga en cuenta que, dado que los nombres de los archivos están controlados (sin espacios, líneas nuevas ...), puede seguir fácilmente algo como el script a continuación.

tl; dr

Versión 1: pase como parámetro opcional el primer número de archivo, el último, el tamaño del bloque, el archivo de salida

#!/bin/bash
StartN=${1:-1}          # First file number
EndN=${2:-15000}        # Last file number
BlockN=${3:-100}        # files in a Block 
OutFile=${4:-"all.pdb"} # Output file name

CurrentStart=$StartN 
for i in $(seq $StartN $BlockN $EndN)
do 
  CurrentEnd=$i ;  
    cat $(seq -f file_%.17g.pdb $CurrentStart $CurrentEnd)  >> $OutFile;
  CurrentStart=$(( CurrentEnd + 1 )) 
done
# Here you may need to do a last iteration for the part cut from seq
[[ $EndN -ge $CurrentStart ]] && 
    cat $(seq -f file_%.17g.pdb $CurrentStart $EndN)  >> $OutFile;

Versión 2

Llamando a bash para la expansión (un poco más lento en mis pruebas ~ 20%).

#!/bin/bash
StartN=${1:-1}          # First file number
EndN=${2:-15000}        # Last file number
BlockN=${3:-100}        # files in a Block 
OutFile=${4:-"all.pdb"} # Output file name

CurrentStart=$StartN 
for i in $(seq $StartN $BlockN $EndN)
do 
  CurrentEnd=$i ;
    echo  cat file_{$CurrentStart..$CurrentEnd}.pdb | /bin/bash  >> $OutFile;
  CurrentStart=$(( CurrentEnd + 1 )) 
done
# Here you may need to do a last iteration for the part cut from seq
[[ $EndN -ge $CurrentStart ]] && 
    echo  cat file_{$CurrentStart..$EndN}.pdb | /bin/bash  >> $OutFile;

Por supuesto, puede avanzar y deshacerse por completo de seq ^{[ 3 ]} (de coreutils) y trabajar directamente con las variables en bash, o usar python, o compilar un programa de CA para hacerlo ^{[ 4 ]} ...

Otra forma de hacerlo podría ser

(cat file_{1..499}.pdb; cat file_{500..999}.pdb; cat file_{1000..1499}.pdb; cat file_{1500..2000}.pdb) >> file_all.pdb