rsync es muy lento (factor 8 a 10) en comparación con cp al copiar archivos de nfs-share a dir local

Tengo un servidor Ubuntu recién instalado que debería ser el nuevo servidor de respaldo para nuestro almacenamiento VM. El servidor tiene 4 unidades de red, 2 de ellas de 10 Gbit (de hecho, una Intel x540-T2 con el controlador más nuevo disponible) que se utilizan para conectarse a la SAN. Tengo el nfs-share montado localmente y comparé las diferencias de velocidad al copiar un directorio con ~ 30 archivos, alrededor de 15 imágenes vm y los archivos de registro correspondientes. Las imágenes tienen un tamaño de entre 8 GB y 600 GB.

Utilizando:

cp -rf /mnt/nfs-share /backup-storage/

bmon muestra en consecuencia alrededor de 600 MiB / s.

Utilizando

rsync -av /mnt/nfs-share /backup-storage/

bmon muestra algunos paquetes en los primeros segundos, se detiene por unos 30 segundos y luego acumula hasta 60-75 MiB / s. La CPU es de alrededor del 60%.

¿Qué debería / podría cambiar para usar rsynccon el mismo rendimiento que cp?

Creo que estas diferencias están bastante bien establecidas entre cpy rsync. Vea este artículo como referencia, titulado: Una mirada al rendimiento de rsync .

The four commands tested were:

    rsync $SRC $DEST
    echo $SRC | cpio -p $DEST
    cp  $SRC $DEST
    cat $SRC > $DEST/$SRC

The results for rsync, cpio, cp, and cat were:

user    sys     elapsed hog MiB/s   test
5.24    77.92   101.86  81% 100.53  cpio
0.85    53.77   101.12  54% 101.27  cp
1.73    59.47   100.84  60% 101.55  cat
139.69  93.50   280.40  83% 36.52   rsync

Yo uso rsynca diario. Hay cosas que puede hacer para mejorar la situación.

Por ejemplo, puede intentar usar el -Winterruptor:

-W, --whole-file            copy files whole (w/o delta-xfer algorithm)

También sugeriría asegurarse de tener las versiones 3.x de rsync. Hubo mejoras notables cuando pasamos a las versiones más nuevas.

La forma de hacer que rsync tenga el mismo rendimiento que cp es deletrearlo "cp".

La diferencia entre los dos comandos es significativa a pesar de que el efecto neto puede ser el mismo. En particular, rsync realiza muchas lecturas para ver si algún archivo o parte de un archivo debe copiarse o no.

¿Hay alguna razón por la que quieres usar rsync? Como cp copia "a ciegas", verá un mayor rendimiento sin formato. Si, para un conjunto de condiciones de activación, se utiliza el mecanismo de "transferencia delta" de rsync, verá que las tasas de transferencia disminuyen y el uso de la CPU aumenta bastante en la forma en que informa.