Utilizando multi core para tar + gzip / bzip compresión / descompresión

Normalmente comprimo usando tar zcvfy descomprimo usando tar zxvf(usando gzip debido a la costumbre).

Recientemente obtuve una CPU de cuatro núcleos con hyperthreading, por lo que tengo 8 núcleos lógicos, y noto que muchos de los núcleos no se usan durante la compresión / descompresión.

¿Hay alguna forma de utilizar los núcleos no utilizados para hacerlo más rápido?

Puede usar pigz en lugar de gzip, que hace la compresión gzip en múltiples núcleos. En lugar de usar la opción -z, lo canalizarías a través de pigz:

tar cf - paths-to-archive | pigz > archive.tar.gz

Por defecto, pigz usa el número de núcleos disponibles, u ocho si no puede consultar eso. Puede pedir más con -pn, por ejemplo, -p 32. pigz tiene las mismas opciones que gzip, por lo que puede solicitar una mejor compresión con -9. P.ej

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

También puede usar el indicador tar "--use-compress-program =" para decirle a tar qué programa de compresión usar.

Por ejemplo, use:

tar -c --use-compress-program=pigz -f tar.file dir_to_zip 

Enfoque común

Hay una opción para el tarprograma:

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

Puede usar la versión multiproceso del archivador o la utilidad del compresor.

Los archivadores multiproceso más populares son pigz (en lugar de gzip) y pbzip2 (en lugar de bzip2). Por ejemplo:

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

El archivador debe aceptar -d. Si su utilidad de reemplazo no tiene este parámetro y / o necesita especificar parámetros adicionales, entonces use tuberías (agregue parámetros si es necesario):

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

La entrada y salida de subprocesos simples y múltiples son compatibles. Puede comprimir usando la versión multiproceso y descomprimir usando la versión de un solo hilo y viceversa.

p7zip

Para p7zip para la compresión, necesita un pequeño script de shell como el siguiente:

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

Guárdelo como 7zhelper.sh. Aquí el ejemplo de uso:

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

Respecto al soporte XZ multiproceso. Si está ejecutando la versión 5.2.0 o superior de XZ Utils, puede utilizar múltiples núcleos para la compresión configurando -To --threadsen un valor apropiado a través de la variable de entorno XZ_DEFAULTS (por ejemplo XZ_DEFAULTS="-T 0").

Este es un fragmento de man para la versión 5.1.0alpha:

La compresión y descompresión multiproceso aún no se han implementado, por lo que esta opción no tiene ningún efecto por el momento.

Sin embargo, esto no funcionará para la descompresión de archivos que tampoco se han comprimido con el subproceso habilitado. Desde man para la versión 5.2.2:

La descompresión roscada aún no se ha implementado. Solo funcionará en archivos que contienen múltiples bloques con información de tamaño en los encabezados de bloque. Todos los archivos comprimidos en modo de subprocesos múltiples cumplen esta condición, pero los archivos comprimidos en modo de subprocesos simples ni siquiera si se usa --block-size = size.

Recompilación con reemplazo

Si crea tar desde las fuentes, puede volver a compilar con parámetros

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Después de volver a compilar tar con estas opciones, puede consultar el resultado de la ayuda de tar:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Puede usar el acceso directo -Ipara el --use-compress-programcambio de tar e invocar pbzip2para la compresión bzip2 en múltiples núcleos:

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Si desea tener más flexibilidad con los nombres de archivo y las opciones de compresión, puede usar:

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

Paso 1: find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

Este comando buscará los archivos que desea archivar, en este caso /my/path/*.sqly /my/path/*.log. Agrega tantos -o -name "pattern"como quieras.

-execejecutará el siguiente comando usando los resultados de find:tar

Paso 2: tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transformes un simple parámetro de reemplazo de cadena. Eliminará la ruta de los archivos del archivo para que la raíz del tarball se convierta en el directorio actual cuando se extraiga. Tenga en cuenta que no puede usar la -Copción para cambiar el directorio, ya que perderá los beneficios de find: se incluirán todos los archivos del directorio.

-Ple indica tarque use rutas absolutas, por lo que no activa la advertencia "Eliminando los principales '/' de los nombres de los miembros". La '/' inicial se eliminará de --transformtodos modos.

-cf -le dice tarque use el nombre tarball que especificaremos más adelante

{} +usa todos los archivos que findencontraste previamente

Paso 3: pigz

pigz -9 -p 4

Use tantos parámetros como desee. En este caso -9es el nivel de compresión y -p 4es el número de núcleos dedicados a la compresión. Si ejecuta esto en un servidor web cargado, probablemente no quiera usar todos los núcleos disponibles.

Paso 4: nombre del archivo

> myarchive.tar.gz

Finalmente.

Una herramienta de compresión (de) relativamente más nueva que quizás desee considerar es zstandard . Hace un excelente trabajo al utilizar núcleos de repuesto, y ha hecho algunas grandes compensaciones en lo que respecta a la relación de compresión frente al (des) tiempo de compresión. También es altamente modificable dependiendo de sus necesidades de relación de compresión.