Copia de archivos paralelos de una sola fuente a múltiples destinos

Tengo varios archivos grandes en medios ópticos que me gustaría copiar en varios destinos, en este caso tengo dos discos duros conectados a la misma computadora. ¿Hay alguna utilidad que pueda funcionar como:

copy source target1 target2 ... targetN

Para archivos individuales, puede usar teepara copiar en varios lugares:

cat <inputfile> | tee <outfile1> <outfile2> > <outfile3>

o si prefiere la versión demoggified:

tee <outfile1> <outfile2> > <outfile3> < <inputfile>

Tenga en cuenta que, como señala Dennis en los teeresultados de los comentarios stdout, así como en los archivos enumerados, por lo tanto, utilice la redirección para señalar el archivo 3 en los ejemplos anteriores. También puede redirigir esto a /dev/nulllo siguiente: tiene la ventaja de mantener la lista de archivos más coherente en la línea de comando (lo que puede facilitar la creación de una solución para un número variable de archivos) pero es un poco menos eficiente (aunque el La diferencia de eficiencia es pequeña: aproximadamente la misma que la diferencia entre usar la catversión o la versión sin cat):

cat <inputfile> | tee <outfile1> <outfile2> <outfile3> > /dev/null

Probablemente podría combinar uno de los anteriores con findbastante facilidad para operar en múltiples archivos en un directorio y con menos facilidad para operar en archivos distribuidos en una estructura de directorio. De lo contrario, es posible que tenga que configurar las operaciones de copia múltiple en paralelo como tareas separadas y esperar que la memoria caché del disco del sistema operativo sea brillante y / o lo suficientemente grande como para que cada una de las tareas paralelas utilice datos de lectura almacenados en caché desde el primero en lugar de causar cabeza de unidad paliza.

DISPONIBILIDAD: teeestá comúnmente disponible en configuraciones estándar de Linux y otros sistemas unix o unix-like, generalmente como parte del paquete GNU "coreutils". Si está utilizando Windows (su pregunta no especifica), debería encontrarlo en los distintos puertos de Windows, como Cygwin.

INFORMACIÓN DE PROGRESO: Como copiar un archivo grande de un medio óptico puede llevar algo de tiempo (o en una red lenta, o un archivo aún más grande incluso de medios rápidos locales), la información de progreso puede ser útil. En la línea de comandos, tiendo a usar el visor de tuberías (disponible en la mayoría de las distribuciones de Linux y muchas colecciones de puertos de Windows y fácil de compilar donde no esté disponible directamente) para esto, solo reemplácelo catcon pvlo siguiente:

pv <inputfile> | tee <outfile1> <outfile2> > <outfile3>

Para ventanas:

n2ncopy hará esto:

Para Linux:

El cpcomando solo puede copiar desde múltiples fuentes pero desafortunadamente no desde múltiples destinos. Deberá ejecutarlo varias veces en un ciclo de algún tipo. Puede usar un bucle como este y colocar todos los nombres de directorio en un archivo:

OLDIFS=$IFS
IFS=$'\n'

for line in $(cat file.txt):
do
   cp file $line
done

IFS=$OLDIFS

o usa xargs:

echo dir1 dir2 dir3 | xargs -n 1 cp file1

Ambos le permitirán copiar directorios completos / múltiples archivos. Esto también se discute en este artículo de StackOverflow.

Basado en la respuesta dada para una pregunta similar Otra forma es usar GNU Parallel para ejecutar múltiples cpinstancias a la vez:

parallel -j 0 -N 1 cp file1 ::: Destination1 Destination2 Destination3

El comando anterior copiará el archivo1 a las tres carpetas de destino en paralelo

En bash (Linux, Mac o Cygwin):

cat source | tee target1 target2 >targetN

(tee copia su entrada a STDOUT, así que use la redirección en el último objetivo).

En Windows, Cygwin es a menudo excesivo. En cambio, solo puede agregar los exes del proyecto UnxUtils , que incluyen cat, tee y muchos otros.

La solución de Ryan Thompson:

for x in dest1 dest2 dest3; do cp srcfile $x &>/dev/null &; done; wait;

tiene mucho sentido: si la velocidad de escritura de los directorios de destino es aproximadamente la misma, srcfile solo se leerá una vez desde el disco. El resto del tiempo se leerá desde la memoria caché.

Lo haría un poco más general, por lo que también obtienes subdirs:

for x in dest1 dest2 dest3; do cp -a srcdir $x &; done; wait;

Si la velocidad de escritura de los directorios de destino es muy diferente (por ejemplo, uno está en un disco RAM y el otro en NFS), puede ver que las partes de srcdir leen al copiar srcdir a dest1 ya no está en la memoria caché del disco al escribir dest2.

De acuerdo con esta respuesta: /superuser//a/1064516/702806

Una mejor solución es usar tary tee. El comando es más complicado pero tarparece ser muy poderoso para transferir Y necesita leer la fuente solo una vez.

tar -c /source/dirA/ /source/file1 | tee >(cd /foo/destination3/; tar -x) >(cd /bar/destination2/; tar -x) >(cd /foobar/destination1/; tar -x) > /dev/null

Para usarlo en un script, es posible que deba iniciar su script con bash -x script.sh

En bash:

for x in dest1 dest2 dest3; do cp srcfile $x &>/dev/null &; done; wait;

Si desea hacer esto en Windows desde PowerShell, no es posible por defecto, porque a diferencia del -Pathargumento, el -Destinationno toma múltiples argumentos. Sin embargo, puede usar -Passthroughy encadenar los comandos. (Pero eso no es divertido).

La mejor solución es hacer la suya, como se muestra aquí .