Tengo 700K + archivos .jpg en mi servidor Linux en una estructura de dos niveles, con más de 6000 directorios en el nivel 1 y los archivos .jpg individuales distribuidos entre esos directorios en el nivel 2. Estos archivos ocupan 16GB de acuerdo con du -ch | grep total
. Hay 3.5GB de espacio libre en el disco.
Estoy buscando una manera sensata de copiar estos archivos en una máquina con Windows y actualizar la copia de Windows a intervalos regulares con nuevos archivos del servidor Linux.
Probé FileZilla, pero solo administró ~ 100K archivos en una hora, con el promedio de carga en el servidor Linux alrededor de 2. Eso es demasiado lento y requiere demasiados recursos. Con 10 conexiones, FileZilla solo administró ~ 150 KB / s en una línea de 100 Mbps.
Espero que sea posible utilizar tar
directorios individuales de alguna manera para obtener "fragmentos más grandes" sin llenar el disco del servidor ...