¿Linux a Linux, transferencia de 10 TB?

9

He examinado todas las preguntas similares anteriores, pero las respuestas parecían estar por todas partes y nadie estaba moviendo una gran cantidad de datos (100 GB es diferente de 10 TB).

Tengo alrededor de 10 TB que necesito mover de una matriz RAID a otra, Gigabit Ethernet, la enciclopedia libre, sistemas de archivos XFS . Mi mayor preocupación es que la transferencia muera a mitad de camino y no poder reanudarla fácilmente. La velocidad sería buena, pero garantizar la transferencia es mucho más importante.

Normalmente, solo usaría tar & netcat, pero la matriz RAID de la que me estoy mudando ha sido muy escamosa últimamente, y necesito poder recuperarme y reanudarla si cae a mitad del proceso. ¿Debería estar mirando rsync ?

Mirando esto un poco más, creo que rsync puede ser demasiado lento, y me gustaría evitar que esto tome 30 días o más. Así que ahora estoy buscando sugerencias sobre cómo monitorear / reanudar la transferencia con netcat .

linux networking rsync file-transfer copy lostincode
fuente
A veces necesito hacer transferencias de archivos grandes (pero no 10TB;) rsync tiene muchos indicadores, algunos de estos pueden afectar el rendimiento de una transferencia de archivos grandes (creo que --checksum y --archive podrían ralentizarlo, por ejemplo). marcaría una gran diferencia al transferir 10 TB). ¿Alguien puede recomendar buenas opciones para ayudar a optimizar el rendimiento de una transferencia de archivos tan grande? ¿Sería --block-size=SIZEútil la sintonización ?
Stefan Lasiewski
¿hay alguna forma de eliminar la sobrecarga ssh?
lostincode
1
configurar rsyncd en su extremo receptor? no hay necesidad de ssh
cpbills
3
Ejecute un demonio rsync en el lado de recepción, así como el cliente en el lado de envío.
Pausado hasta nuevo aviso.
2
Si no puede configurar un demonio rsync en un lado y está atascado con SSH, puede reducir la sobrecarga de cifrado con un cifrado menos bueno como: rsync -avz -e 'ssh -c arcfour' SOURCE DEST
David

Respuestas:

14

sí, rsync

fuera del bicho raro, las características asincrónicas que DRBD lanzó recientemente

cagenut
fuente
1
+1 para Rsync. Rey de las transferencias de sistema a sistema en Linux.
grufftech
+1, rsync (y su contraparte de Windows DeltaCopy) son el final de la eficiente duplicación de archivos genéricos de servidor a servidor.
Chris S
1
+1 para rsync, pero agregaría que puede ser más rápido hacerlo "localmente" sobre un montaje NFS en lugar de incurrir en la sobrecarga del protocolo rsync o SSH.
James Sneeringer
2

Nunca subestimes el ancho de banda de una camioneta llena de cintas. 10 TB serían factibles con equipos NAS de grado de consumo relativamente baratos si se pueden dividir en (por ejemplo, 2 TB) en trozos. Si esto es único, entonces un proceso semi-manual podría ser viable, y un NAS de 2TB solo cuesta unos pocos cientos de dólares.

Si necesita un proceso continuo, puede configurar RSYNC después de haber realizado la transferencia inicial.

Preocupado por TunbridgeWells
fuente
La pregunta original mencionó que esto ya está en una red local.
Ladadadada
1
Lo que parece ser demasiado lento y / o poco confiable para los propósitos del OP.
ConcernedOfTunbridgeWells
2

Tuve que hacer este tipo de tarea hace unos meses. Usé rsync paralelo para acelerar el proceso. Separa los archivos que se transferirán / sincronizarán en fragmentos, y se puede reanudar en cualquier momento. Vea el enlace a continuación para el script rsync paralelo.

https://gist.github.com/rcoup/5358786

Pierre Bergdolt
fuente
0

Puede intentar configurar un servidor FTP en el servidor con los datos que se copiarán y utilizar un cliente FTP con "reanudar" en el extremo receptor. Utilizo el servidor y el cliente Filezilla y utilizo la función "reanudar" del cliente con bastante frecuencia y siempre ha funcionado sin problemas.

jamesbtate
fuente