¿Herramienta de línea de comandos para deduplicar un solo archivo enorme?

1

Realizo instantáneas regulares de mi VM usando un script nocturno. Estas copias de seguridad se comprimen con WinRAR y se reducen considerablemente, pero sospecho que no es tan eficiente como si el archivo se hubiera deduplicado primero (solo una corazonada que espero probar).

Entonces, en lugar de comprimir el VHD en sí, me gustaría deduplicar primero el archivo único y luego comprimir la salida del deduplicador.

¿Alguien sabe de una herramienta de CLI?

windows RomanSt
fuente
¿Cómo quieres deduplicar 1 archivo? ¿Puedes explicar?
Notitze
@Notitze eliminando secciones del archivo que se repiten. Puede llamar a la compresión de este pobre hombre (que elimina la redundancia en general), pero para los archivos que tienen grandes cantidades de repetición, un compresor de uso general podría no eliminar tanta información como un deduplicador.
RomanSt
Dudo que ese sea el caso, de verdad. El objetivo de una herramienta de compresión es eliminar la duplicación en un archivo, y cambia el tiempo de ejecución a favor de la relación de compresión en comparación con una deducción fs. Si la máquina virtual contiene mucho espacio vacío, reducir el espacio libre de la máquina virtual y compactar el disco virtual probablemente ayudará más que cualquier otra cosa.
Afrazier
@afrazier, el espacio vacío se pone a cero y el disco se compacta. Todavía tengo que encontrar un FS de deducción libre de calidad de producción para Windows. Los compresores existentes como WinRAR son bastante malos para manejar la duplicación de largo alcance. Pruébelo usted mismo: haga 10 copias del mismo archivo mp3 de 5 MB y comprímalo en la configuración máxima con WinRAR. Obtendrá un archivo de 50 MB, por desgracia.
RomanSt
1
@romkyns Eso podría haber sido porque el tamaño de mi archivo estaba dentro del tamaño del diccionario. Duh yo :-) Quizás intente hacer una copia instantánea del VHD (suspender VM, instantánea, reiniciar VM) y hacer una copia de seguridad, eso le permitiría extender su ventana de copia de seguridad y reducir el tiempo de inactividad. El blog de Adi Oltean tiene algunos scripts útiles e información sobre cómo hacerlo.
Afrazier

Respuestas:

3

Puedes probar el SDFS de OpenDedup . No es exactamente lo que está buscando, pero probablemente lo más cerca que estará de Windows.

afrazier
fuente