Convertir archivos gzip a bzip2 de manera eficiente

Tengo un montón de archivos gzip que tengo que convertir a bzip2 de vez en cuando. Actualmente, estoy usando un script de shell que simplemente 'gunzip es cada archivo y luego' bzip2 es. Aunque esto funciona, lleva mucho tiempo completarlo.

¿Es posible hacer este proceso más eficiente? Estoy listo para sumergirme y mirar los códigos fuente de gunzip y bzip2 si es necesario, pero solo quiero estar seguro de la recompensa. ¿Hay alguna esperanza de mejorar la eficiencia del proceso?

Esta pregunta se hizo hace mucho tiempo cuando pbzip2 no estaba disponible o no era capaz de comprimir desde stdin, pero ahora puede paralelizar los pasos de descompresión y compresión usando paralelo y pbzip2 (en lugar de bzip2 ):

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

que es significativamente más rápido que usar bzip2 .

En lugar de gunzip en un paso y bzip2 en otro, me pregunto si tal vez sería más eficiente usar tuberías. Algo comogunzip --to-stdout foo.gz | bzip2 > foo.bz2

Estoy pensando con dos o más CPU, esto definitivamente sería más rápido. Pero tal vez incluso con un solo núcleo. Sin embargo, admito vergonzosamente no haber probado esto.

El paralelo GNU ( http://www.gnu.org/software/parallel ) podría ser una opción si tiene múltiples núcleos (o incluso múltiples máquinas):

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Lea el tutorial / página de manual para obtener detalles y opciones.

Lo que estás haciendo actualmente es tu mejor apuesta. No hay una herramienta de conversión disponible, e intentar bzip2 un archivo ya comprimido no es realmente una opción, ya que con frecuencia tiene efectos no deseados. Como el algoritmo es diferente, la conversión implicaría recuperar los datos originales independientemente. A menos que, por supuesto, gzipping haya sido un paso en el proceso de bzip2, en el que lamentablemente no lo es.

Ocasionalmente, necesito hacer lo mismo con los archivos de registro. Comienzo con los archivos * .gz más pequeños primero ( ls -rS), gunzip y luego y bzip2 individualmente. No sé si es posible dirigir la salida gunzip directamente a la entrada bzip2. El comando bzip2 es mucho más lento en la compresión que gunzip en la descompresión que puede consumir la memoria e intercambiar espacio en el host.

Mejoras o sugerencias son bienvenidas. Aquí está mi único revestimiento:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Si tiene más de unos pocos, consulte el artículo de LJ con un buen script de shell.

http://linuxgazette.net/123/bechtel.html

7zip obtiene una mejor compresión y es multihilo.

Solo tuve que hacer esto hace unos minutos:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Donde rezipse definiría como:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

Opcionalmente, también puede hacerlo multiproceso utilizando una -Popción con xargs, pero tenga cuidado con esa. (¡Comienza bajo!)