RSync al volumen montado en WebDAV muy lento

11

Tengo una tienda WebDAV montada, con la que estoy jugando para tratar de armar mi propia configuración de pseudo-DropBox. Sin embargo, parece muy lento cargar archivos más grandes (mi gráfico de ancho de banda funciona bien por un momento, luego se detiene por largos períodos de tiempo).

¿Alguien ha probado esto? Me pregunto si la forma en que se monta hace rsyncpensar que es una unidad local o algo así, ¿podría ser más chatarra de lo que sería si supiera que es una unidad de red montada?

Estoy sincronizando usando el siguiente comando: 

rsync -rv /source/directory/ /mounted/webdav/directory/

Esto se ejecuta con MacOS 10.6, y WebDAV se monta con el mecanismo de montaje nativo.

mac network-shares performance rsync webdav AlexC
fuente

Respuestas:

13

Consulte la página del manual para

  • --size-only porque la mayoría de las implementaciones de webdav no aceptan la configuración del tiempo de modificación

  • --no-whole-file decirle a rsync que maneja un sistema de archivos remoto

  • --inplace tener rsync reemplazando archivos directamente, en lugar de cargar y luego reemplazar

Por cierto, estoy usando otra capa de encfs para cifrar archivos en el webdav, y estoy bastante contento con el rendimiento.

ribx
fuente
Como --inplaceayuda En el manual: esta opción es útil para transferir archivos grandes con cambios basados ​​en bloques o datos adjuntos, y también en sistemas que están vinculados a disco, no a la red . También puede ayudar a evitar que una instantánea del sistema de archivos de copia en escritura diverja en todo el contenido de un archivo que solo tiene cambios menores.
msa7
Mi comando essudo mount -t davfs https://webdav.yandex.com/ ~/mnt/yd; rsync -avrc --size-only --no-whole-file /home/msa/xranitel/webdav /home/msa/mnt/webdav
msa7
0

He intentado esto en un servidor para el que tengo acceso rsync y WebDAV solo para ver la diferencia y el método rsync sobre WebDAV fue mucho más lento. Debe ser solo una cosa de protocolo. No creo que rsync sea localmente más atractivo que a través de una red.

fideli
fuente
0

Estoy bastante seguro de que esto se debe a que rsync calcula la suma de verificación para comparar y después de la transmisión. Como el archivo se almacena de forma remota, significa que se transfiere varias veces.

Puede ejecutar rsync como daemon o mediante ssh para hacer el cálculo en el servidor. O simplemente deshabilite la suma de verificación.

bdecaf
fuente
0

He descubierto que el montaje de Mac OSX webdav no es confiable (10.11.6 El Capitan). Si uso rsync, tar, cp o cualquier otra herramienta, algunos de los archivos se ven dañados. Puedo repetir y repetir, pero diferentes archivos se corrompen cada vez. Luego monte la misma carpeta webdav exacta, en una VM de Windows dentro de la Mac (misma red, mismo hardware, lo mismo todo excepto ahora que es una VM de Windows en lugar de Mac OSX) y luego todo funciona bien.

Edward Ned Harvey
fuente