Uso de RSYNC con Amazon S3 [cerrado]

Estoy interesado en usar Amazon S3 para hacer una copia de seguridad de nuestras imágenes de servidor de ~ 100 gb (creadas mediante las herramientas de copia de seguridad de Acronis)

Obviamente, esta carga a S3 todas las noches sería costosa, en términos de ancho de banda y costo. Estoy considerando usar rsync con S3 y encontré s3rsync. Me preguntaba si alguien tenía alguna experiencia usando esto o alguna otra utilidad.

Recientemente me topé con este hilo en Google y parece que el panorama ha cambiado un poco desde que se hizo la pregunta. La mayoría de las soluciones sugeridas aquí ya no se mantienen o se han vuelto comerciales.

Después de algunas frustraciones al trabajar con FUSE y algunas de las otras soluciones existentes, decidí escribir mi propio "clon" rsync de línea de comandos para S3 y Google Storage usando Python.

Puede consultar el proyecto en GitHub: http://github.com/seedifferently/boto_rsync

Otro proyecto del que me enteré recientemente es la "duplicidad". Parece un poco más elaborado y se puede encontrar aquí: http://duplicity.nongnu.org/

Espero que esto ayude.

ACTUALIZAR

El equipo de Python en AWS ha estado trabajando duro en un proyecto CLI basado en boto para sus servicios en la nube. Entre las herramientas incluidas se encuentra una interfaz para S3 que duplica (y en muchos sentidos reemplaza) la mayor parte de la funcionalidad proporcionada por boto-rsync:

https://github.com/aws/aws-cli

En particular, el synccomando se puede configurar para funcionar casi exactamente como rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

También he tenido buena suerte con S3cmd y S3sync , los cuales son gratuitos.

Dependiendo de cómo se creen sus imágenes de Acronis, no estoy seguro de que ningún tipo de rsync le ahorre ancho de banda. Las imágenes de Acronis son archivos únicos, por lo que rsync no podría leer dentro de ellas para hacer una copia de seguridad de lo que ha cambiado. Tampoco estoy seguro de qué tipo de imágenes de servidor está creando, pero dado que dijo 100 GB, ¿voy a asumir que está lleno? Una imagen incremental reduciría en gran medida el tamaño de la imagen nocturna, ahorrando así ancho de banda. También podría considerar guardar las imágenes en una ubicación alternativa que S3, como cintas de medios, y almacenarlas fuera del sitio.

Nunca probé S3rsync.

Estoy usando duplicidad para nuestras copias de seguridad externas. Admite copias de seguridad incrementales en S3, aunque en realidad no está ahorrando ancho de banda debido al protocolo de almacenamiento de Amazon S3 en el que cualquier modificación de archivo lo obliga a cargar todo el nuevo archivo nuevamente. De todos modos, la duplicidad solo carga diferencias con respecto a la última copia de seguridad incremental.

Con Duplicity no necesitará pasar por otro servidor como lo hace S3sync, sin embargo, si encripta sus datos, debería valer la pena probar S3sync.

S3 también tiene un servicio adicional llamado AWS Import / Export que le permite enviar una unidad USB con su conjunto de datos inicial de 100 Gb y lo cargarán en la nube S3 usando algunas herramientas de back-end en sus centros de datos. Una vez que su 100Gb esté allí, puede hacer copias de seguridad diferenciales cada noche para hacer una copia de seguridad de todo lo que ha cambiado.

El sitio es http://aws.amazon.com/importexport/

Si la mayoría de sus datos son bastante estáticos, esta sería una buena opción, si los 100 Gb de datos cambian a diario, entonces esto no le ayudará mucho.

Puede probar minio client, también conocido como "mc". mc proporciona herramientas mínimas para trabajar con sistemas de archivos y almacenamiento en la nube compatibles con Amazon S3.

mc implementa los siguientes comandos

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Puede usar el comando espejo para hacer su operación. "localdir" es el directorio local y S3 [alias para Amazon S3] y el nombre "remoteDir" de su bucket en S3.

$ mc mirror localdir/ S3/remoteDir

También puedes escribir un cronjob para lo mismo. También en caso de indignación de la red, de todos modos puede usar "sesión $ mc" para reiniciar la carga desde ese momento en particular.

PD: Contribuyo al proyecto minio y me encantaría recibir sus comentarios y contribuciones. Espero eso ayude.

La nueva Jungle Disk Server Edition (beta) podría serle útil. Tiene una desduplicación a nivel de bloque, por lo que si sus imágenes de Acronis tienen algo en común, esto reducirá en gran medida la cantidad que necesita hacer una copia de seguridad. Las características son perfectas para las copias de seguridad del servidor. Echa un vistazo a las notas de la versión.

He estado probando la versión beta durante dos semanas y, aparte de algunos pequeños problemas con la GUI que estoy seguro de que se solucionarán en la final, estoy entusiasmado con el producto.