Optimizando rsync para transferir archivos enormes rápidamente

19

Esto es lo que necesito:

  • El demonio Rsync se ejecuta en el servidor de origen. El servidor de destino realiza una extracción de rsync como se muestra a continuación: 
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • Enormes archivos binarios (3 GB a 5 GB) se copian de la máquina de origen al destino a través de una LAN. Por lo tanto, no se requiere cifrado / descifrado. Por lo tanto, no usar SSH. La máquina de destino se conecta directamente al demonio rsync.
  • La carpeta de destino siempre estará vacía antes de rsync pull. Por lo tanto, no tengo que preocuparme por actualizar condicionalmente algunos archivos. Rsync pull siempre creará nuevos archivos en el destino (no se actualizará). Por lo tanto, no necesito rsync para calcular sumas de verificación.

¿No estoy satisfecho con la cantidad de CPU consumida por rsync en el extremo receptor? Qué opciones de rsync me ayudarán a optimizar el uso de rsync en el caso explicado anteriormente. Lo que me preocupa es que rsync podría estar haciendo más de lo que necesito. archivos de suma de comprobación rsync. No necesito eso

También me gustaría ver mejoras en la velocidad.

¿Cambiar el tamaño de bloque, desactivar la suma de verificación, etc. ayudará?

rsync files Varun
fuente
No use rsync si no hay deltas para transferir.
womble
3
@womble: ¿Qué herramienta debo usar entonces? Rsync fue sugerido aquí- serverfault.com/questions/384467/…
Varun
netcat o scp con el cifrado nulo.
womble
3
Scp con cifrado nulo? ¿Estás seguro de que scp admite cifrado nulo? ¿Puede dar un ejemplo o señalarme recursos relevantes?
Varun

Respuestas:

25

Parece que es posible que desee echar un vistazo a --whole-fileo -Wcambiar. Esto está habilitado de manera predeterminada si rsync está haciendo copias locales del sistema de archivos, pero creo que los documentos recomiendan su uso si la velocidad de LAN es alta y se sincroniza en la red.

Básicamente, deshabilita el algoritmo rsync delta y simplemente transfiere todo el archivo si cree que es diferente.

No debería tener que preocuparse por la suma de comprobación a menos que fuerce -c. De manera predeterminada, solo mira la última hora de modificación y el tamaño del archivo, y supone que los archivos son diferentes si esos valores son diferentes.

crecer
fuente