Transferencia de aproximadamente 300 gb en archivos de un servidor a otro

Tengo unos 200,000 archivos que estoy transfiriendo a un nuevo servidor hoy. No he hecho nada a gran escala antes, y quería obtener algunos consejos sobre cómo debería hacerlo. Los estoy moviendo entre dos distribuciones de Centos 6, y están en diferentes lugares del país. No tengo suficiente espacio en el disco duro en el servidor original para almacenar todos los directorios y archivos en un tarball masivo, así que mi pregunta es ¿cómo debo transferir todos estos archivos? rsync? alguna forma especial de usar rsync? Cualquier aportación / sugerencia sobre cómo hacerlo sería increíble.

Gracias

EDITAR: Para aquellos que se preguntan, recomiendo encarecidamente usar un screencuando se ejecuta un rsynccomando grande como este. Especialmente cuando puede ocurrir algo tonto y pierde la conexión con el servidor A desde el que ejecuta el rsynccomando. Luego simplemente separe la pantalla y reanudela más tarde.

Solo para dar cuerpo a la respuesta de Simon , rsynces la herramienta perfecta para el trabajo:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Suponiendo que tiene acceso ssh a la máquina remota, desearía hacer algo como esto:

rsync -hrtplu path/to/local/foo [email protected]:/path/to/remote/bar

Esto copia el directorio path/to/local/fooa /path/to/remote/baren el servidor remoto. Se bar/foocreará un nuevo subdirectorio llamado . Si solo desea copiar el contenido de un directorio, sin crear un directorio con ese nombre en el destino, agregue una barra diagonal final:

rsync -hrtplu path/to/local/foo/ [email protected]:/path/to/remote/bar

Esto copiará el contenido de foo/en el directorio remoto bar/.

Algunas opciones relevantes:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Depende de qué tan rápido se deba copiar y cuánto ancho de banda esté disponible.

Para una conexión de red deficiente, considere el ancho de banda de un camión lleno de cintas. (Lea: envíe un disco duro de 2,5 pulgadas, o simplemente conduzca allí usted mismo. Las unidades de 300 gigabits deberían ser fáciles de encontrar).

Si necesita menos tiempo o tiene mucho ancho de banda, entonces rsync es excelente. Si hay un error, puede continuar sin volver a copiar los archivos anteriores.

[Editar] Olvidé agregar que puedes ejecutar rsync varias veces si tus datos se usan durante la copia.

Ejemplo:
1) Datos en uso. Rsync -> Todos los datos se copian. Esto puede tomar algo de tiempo.
2) Ejecute rsync nuevamente, solo se copian los archivos modificados. Esto debería ser rápido.

Puede hacerlo varias veces hasta que no haya cambios, o puede hacerlo de manera inteligente / segura haciendo que los datos sean de solo lectura durante la copia. (p. ej., si está en un conjunto compartido usado que comparte en solo lectura. O sincronice los datos, luego establezca el compartimiento en solo lectura mientras lo ejecuta por segunda vez).

Yo iría por rsync! Lo estoy usando para hacer una copia de seguridad de mi servidor en un servidor externo y funciona bien. Por lo general, hay unos pocos MB para copiar, pero algunos días sube a 20-30 GB y siempre funcionó sin problemas.

rsync a través de NFS usando una conexión Gigabit tomará casi 10 horas Será mejor copiar datos en el disco duro y moverlos entre el servidor. Si necesita hacer una copia uno a uno del disco, use dd o algo así para crear una imagen sin formato del disco. El uso de ssh (scp) causa una gran sobrecarga. Probado empíricamente en conexión Gigabit. rsync es bueno para realizar una sincronización incremental entre dos servidores utilizados en HA o en modo de copia de seguridad. Supongo.

use NFS por primera vez y tar / untar (NFS es el protocolo más rápido en este caso, tar para ahorrar ancho de banda de red al utilizar más la CPU)

tar cf - * | ( cd /target; tar xfp -)

la próxima vez que use rsync