¿Cómo copio un archivo de varios servidores a mi sistema local?

Tenemos una implementación múltiple de una aplicación en servidores como app00, app01, etc. Necesito copiar un solo archivo de registro de todos estos servidores en mi Mac local para poder realizar algunas tareas de grep y corte.

Utilicé csshX para ver este archivo pero no puedo encontrar un equivalente para scp. Básicamente quiero dos cosas:

1. Posibilidad de conectarse a n números de dichos servidores y copiar el archivo
2. Evite los conflictos de nomenclatura localmente, tal vez con el prefijo del archivo de registro con el nombre de host del servidor

¿Cómo hago esto?

Esto es trivial con un pequeño guión. Por ejemplo:

for server in app0 app1 app4 app5 appN; do
    scp user@$server:/path/to/log/file /local/path/to/"$server"_file
done

Lo anterior copiará el archivo de cada uno de los servidores secuencialmente y lo nombrará SERVERNAME_file. Entonces, el archivo app0será, app0_fileetc. Obviamente, puede cambiar los nombres a lo que desee.

Use GNU paralelo :

parallel -j0 scp {}:/remote_path file_from_{} ::: host1 host2 host3 # and so on

A diferencia de las soluciones que usan a for, esto ejecutará todas las descargas en paralelo

remote_path="/path/to/file"
local_target_dir="/path/to/dir"
hosts=(app00 app01)
for host in "${hosts[@]}"; do
    scp "$host":"$remote_path" "$local_target_dir"/filename."$host"
done

Si puede usar python, hay un módulo interesante que busca simplificar las tareas administrativas de la máquina llamado fabric: http://docs.fabfile.org/en/latest/tutorial.html

He querido usarlo, pero tampoco lo he conseguido

Esto funciono para mi

#!/bin/bash
#Expect script
/usr/bin/expect -<<EOD 

set SERVERS {1 2 3 .. N}

foreach SERVER \$SERVERS {
    spawn scp user@\$SERVER:remote local/"\$SERVER"RESWeb.log
    expect {
      -re ".*es.*o.*" {
        exp_send "yes\r"
        exp_continue
      }
      -re ".*sword.*" {
        exp_send "pswrd\r"
      }
    }
    expect eof 
}
EOD

echo "completed"