Compresión de archivos grandes.

1

Estoy tratando de comprimir grandes conjuntos de datos (de 15 a 400 GB cada uno). Estoy buscando el mejor software de compresión para Mac que tenga

  1. Alta tasa de compresión.
  2. Es rápido

He probado 7zX, que tiene una excelente tasa de compresión en la configuración Ultra, pero es muy lento. Me pregunto si puedo cambiar la configuración para que

  1. usa todos los núcleos que tengo
  2. la RAM máxima
  3. y CPU máxima.

Entonces puedo acortar ese tiempo. O si hay otro software que ofrece esta opción. Por supuesto, si alguien puede recomendar un software mejor, me alegraría saberlo.

También sobre flujos de trabajo sobre cómo lidiar con archivos grandes que necesitan ser comprimidos / descomprimidos más tarde.

Gracias.

software-rec compression dígito
fuente
Algunos algoritmos son notoriamente más eficientes en espacio o tiempo que otros, pero no existe el mejor software de compresión. Como mínimo, deberá especificar de qué tipo de datos estamos hablando, preferiblemente publicando una muestra.
Marca Thomas el
principalmente video, imágenes y datos con muchos (!) archivos pequeños
dígito
Video comprimido o sin comprimir, imágenes comprimidas o sin comprimir, ¿qué tipo de datos, archivos de texto o binarios? Si los videos y las imágenes ya están comprimidos (por ejemplo, MPEG 4 y JPEG), optaría por la compresión más rápida (pigz sería un candidato), ya que no ganará mucho.
Marco
Parece que quieres usar 7z y solo espera a que termine. Por supuesto, usted entiende que cualquier tipo de compresión significa que también debe descomprimir los archivos, ¿verdad? En otras palabras, en un tamaño tan pequeño, es posible que solo desee almacenar los datos sin procesar. Aunque la compresión puede darle una cosa, necesita verificación de datos de que el archivo no está dañado.
Ramhound
todo sin comprimir
dígito

Respuestas:

2

Hay versiones de bzip ( pigz ) y bzip2 ( pbzip2 ) que son multiproceso. Ambos utilizarán el 100% de todos los núcleos.

Usar la RAM máxima no tiene sentido y los algoritmos tomarán todo lo necesario para ejecutarse, no más.

El mejor algoritmo depende de su caso de uso y datos, pero pigz probablemente será uno de los más rápidos y 7z uno de los más lentos, pero con una mejor relación de compresión.

Marco
fuente
pigz es muy rápido, pero la compresión no es excelente (incluso en comp. nivel 7) y si no especifico un archivo, pero un directorio no se comprime y obtengo: "es un directorio - skipping".
dígito
El algoritmo más rápido probablemente nunca será el que tenga la mejor relación. No existe un algoritmo todo en uno adecuado para todo. bzip y pbzip2 (incluidas las variantes de subprocesos múltiples) son herramientas de compresión pura, no crean archivos. Puede usar tar ( tar cf directory.tar <directory>) para crear primero un archivo comprimido y luego ejecutar pigz en el archivo tar.
Marco