Sistema de archivo virtual de solo escritura para almacenar archivos en el archivo

Tengo un proceso embarazosamente paralelo que crea una gran cantidad de archivos casi (pero no completamente) idénticos. ¿Hay alguna manera de archivar los archivos "sobre la marcha", para que los datos no consuman más espacio del necesario?

El proceso en sí mismo acepta parámetros de línea de comandos e imprime el nombre de cada archivo creado para stdout. Lo invoco con el parallel --gnuque se encarga de distribuir la entrada (que proviene de otro proceso) y recopilar la salida:

arg_generating_process | parallel --gnu my_process | magic_otf_compressor

EJEMPLO SIMPLE para la primera parte de la tubería en bash:

for ((f = 0; $f < 100000; f++)); do touch $f; echo $f; done

¿Cómo podría magic_otf_compressorverse? Se supone que debe tratar cada línea de entrada como nombre de archivo, copiar cada archivo a un .tararchivo comprimido (¡el mismo archivo para todos los archivos procesados!) Y luego eliminarlo. (En realidad, debería ser suficiente para imprimir el nombre de cada archivo procesado, otro | parallel --gnu rmpodría encargarse de eliminar los archivos).

¿Existe alguna herramienta de este tipo? No estoy considerando comprimir cada archivo individualmente, esto desperdiciaría demasiado espacio. He investigado archivemount(mantendrá el sistema de archivos en la memoria -> imposible, mis archivos son demasiado grandes y demasiados) y avfs(no pude hacer que funcione junto con FUSE). ¿Qué me he perdido?

Estoy a un paso de hackear una herramienta así, pero alguien debe haberlo hecho antes ...

EDITAR : Básicamente creo que estoy buscando un front-end stdin para libtar(a diferencia del front-end de la línea de comandos tarque lee argumentos de, bueno, la línea de comandos).

Parece que tarquiere saber todos los nombres de archivo por adelantado. Entonces es menos sobre la marcha y más después de la marcha. cpiono parece tener ese problema:

| cpio -vo 2>&1 > >(gzip > /tmp/arc.cpio.gz) | parallel rm

Un caso clásico de RTFM (¡todo!) . La -Topción de GNU tarleerá los archivos que se archivarán desde otro archivo (en mi caso, /dev/stdintambién puede usar -), e incluso hay una --remove-filesopción:

alias magic_otf_compressor='tar --create -T - --remove-files -O | pixz'

(usando la versión paralela de xzpara la compresión, pero puede usar su compresor preferido en su lugar). Para ser utilizado como:

arg_generating_process |
  parallel --gnu my_process |
  magic_otf_compressor > file.tar.xz

EDITAR : Como señala Ole, tarparece leer la lista completa de archivos con la -Topción por alguna razón. La siguiente prueba confirma esto:

for ((f = 0; $f < 1000; f++)); do
    touch $f; echo $f;
done | tar -c -f otf.tar -T - -v

Hay un segundo retraso en mi sistema antes de que todos los archivos se impriman a la vez; en cambio, si el tarcomando se reemplaza por cat, todos los archivos se imprimen a medida que se crean. He presentado una solicitud de soporte con la gente de alquitrán, veamos.

EDITAR ^ 2 : El más reciente tarde la fuente corrige esto. Todavía no está en Ubuntu 13.10, pero podría incluirse con 14.04.

De alguna manera, esto no parece un buen trabajo para un compresor sólido (archivadores basados ​​en cinta + compresión). Insertar archivos uno tras otro parece un trabajo zipo algún otro formato que permita el acceso aleatorio a los archivos dentro del archivo y la inserción incremental.

El hecho de que los archivos sean similares no ayudará mucho en ninguno de los casos. En zip, los archivos se comprimen por separado, y en los compresores sólidos, generalmente hay una ventana dentro de la cual tiene lugar la compresión.

Si los archivos están basados ​​en texto, puede almacenar diferencias en comparación con un solo archivo de referencia. Para binario, es un poco más complicado pero se puede hacer.

También hay una forma formal (no solo de escritura, sino de sistemas de archivos adecuados). Por ejemplo, los sistemas de archivos ZFS y BTRFS ofrecen una compresión transparente. También puede usar este http://developer.berlios.de/projects/fusecompress

Puede que no parezca obvio, pero apuesto a squashfsque sería perfecto para esto, e incluso está implementado en el núcleo. Desde la versión 4.1 squashfspuede manejar pseudo archivos como se especifica en la mksquashlínea de comando o mediante un script de shell y mksquashfsgenerará los archivos a medida que crea el archivo.

Puede manejar tuberías , por ejemplo, puede capturar otro proceso stdouten un archivo de squash montable, incluso quince , es bastante genial. En su caso, si se pudiera encontrar la logística de secuencia de comandos de la tubería de salida de su proceso a través de él, se puede envolver su proceso enteramente en mksquashfsy terminar con un único archivo. Aquí hay un poco de readmecómo funciona y hay más aquí :

Mksquashfs 4.1 agrega soporte para "pseudo archivos dinámicos" y una operación de modificación. Los pseudo archivos dinámicos permiten que los archivos se creen dinámicamente cuando se ejecuta Mksquashfs, siendo su contenido el resultado de ejecutar un comando o una secuencia de comandos de shell. La operación de modificación permite modificar el modo / uid / gid de un archivo existente en el sistema de archivos fuente.

Crear ejemplos de archivos dinámicos

Cree un archivo "dmesg" que contenga la salida de dmesg.

    dmesg f 444 root root dmesg

Cree una LIBERACIÓN de archivo que contenga el nombre de la versión, la fecha, el host de compilación y un número de versión incremental. La versión incremental es un efecto secundario de ejecutar el script de shell, y garantiza que cada vez que se ejecuta Mksquashfs se use un nuevo número de versión sin requerir ningún otro script de shell.

    RELEASE f 444 root root \
        if [ ! -e /tmp/ver ]; then \
        echo 0 > /tmp/ver; \
        fi; \
        ver=`cat /tmp/ver`; \
            ver=$((ver +1)); \
            echo $ver > /tmp/ver; \
            echo -n "release x.x"; \
            echo "-dev #"$ver `date` "Build host" `hostname`

Copie 10K del dispositivo / dev / sda1 en la entrada del archivo. Normalmente, Mksquashfs dado un dispositivo, fifo o socket con nombre colocará ese archivo especial dentro del sistema de archivos Squashfs, esto permite que la entrada de estos archivos especiales se capture y se coloque en el sistema de archivos Squashfs.

        input f 444 root root dd if=/dev/sda1 bs=1024 count=10