La forma más rápida de concatenar archivos

Tengo más de 10k archivos por un total de más de 20GB que necesito concatenar en un solo archivo.

¿Hay una manera más rápida que

cat input_file* >> out

?

La forma preferida sería un comando bash, Python también es aceptable si no considerablemente más lento.

No, el gato es seguramente la mejor manera de hacer esto. ¿Por qué usar python cuando ya hay un programa escrito en C para este propósito? Sin embargo, es posible que desee considerar el uso xargsen caso de que la longitud de la línea de comando exceda ARG_MAXy necesite más de uno cat. Usando herramientas GNU, esto es equivalente a lo que ya tiene:

find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z |
  xargs -0 cat -- >>out

Asignar primero el espacio para el archivo de salida puede mejorar la velocidad general ya que el sistema no tendrá que actualizar la asignación para cada escritura.

Por ejemplo, si en Linux:

size=$({ find . -maxdepth 1 -type f -name 'input_file*' -printf '%s+'; echo 0;} | bc)
fallocate -l "$size" out &&
  find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z | xargs -r0 cat 1<> out

Otro beneficio es que si no hay suficiente espacio libre, la copia no se intentará.

Si está activado btrfs, podría copy --reflink=alwaysel primer archivo (lo que implica que no hay copia de datos y, por lo tanto, sería casi instantáneo), y agregar el resto. Si hay 10000 archivos, eso probablemente no hará mucha diferencia, a menos que el primer archivo sea muy grande.

Hay una API para generalizar eso para volver a copiar todos los archivos (the BTRFS_IOC_CLONE_RANGE ioctl), pero no pude encontrar ninguna utilidad que exponga esa API, por lo que tendrías que hacerlo en C ( pythonu otros lenguajes siempre que puedan llamar ioctls arbitrarios ) .

Si los archivos de origen son escasos o tienen secuencias grandes de caracteres NUL, puede crear un archivo de salida disperso (ahorrando tiempo y espacio en disco) con (en sistemas GNU):

find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z | xargs -r0 cat | cp --sparse=always /dev/stdin out