Cómo cargar instancias sftp de equilibrio en AWS

10

Me gusta saber si es posible cargar sftpservidores de equilibrio AWS. Tengo 2 servidores, y cada uno de mis servidores está utilizando s3fs-fusepara montar el mismo S3 bucketen un punto de montaje. Mis dos ec2instancias pueden leer / escribir en sus puntos de montaje, y desde S3, puedo ver los archivos de ambos servidores.

Lo que estoy buscando es tener SFTPque transferir archivos y usarlos Amazon S3para almacenar mis archivos. Los archivos se cargarán y descargarán diariamente.

https://github.com/s3fs-fuse/s3fs-fuse

En cuanto a mi próximo paso, me gusta saber cómo puedo cargar el equilibrio de mis sftpservidores, de modo que cuando un usuario se conecta a una dirección IP específica, los redirigirá a uno de mis sftpservidores. Eché un vistazo elastic load balancers, pero parece que solo permiten puertos específicos. También he investigado HAProxy, pero no estoy seguro de cuán segura será esa solución. Tengo que tener en cuenta el HIPAAcumplimiento. El equilibrador de carga debe ser una dirección IP estática, ya que nuestros proveedores no son compatibles DNS hostnames.

popopanda
fuente
77
Nunca he querido incendiarme tanto como ahora.
Wesley
3
TBH, usar s3fs-fuse para PHI parece bastante tonto.
EEAA
Para el registro, los ELB soportan actualmente todos los puertos (1-65535): aws.amazon.com/blogs/aws/… . Pero, los ELB también requieren que los clientes usen el nombre DNS generado por AWS (que también apunta a dos direcciones IP públicas, que pueden cambiar).
Jukka
Sin embargo, la pregunta más importante es, ¿por qué quieres equilibrar la carga? Si es para HA, aún tendrá un SPoF en su haproxy. Si se trata de requisitos de CPU de SSH, sería difícil de creer, pero una razón válida.
w00t
Además, ¿consideró pedirle a su proveedor que admita cargas S3 cifradas? No es nada difícil ...
w00t

Respuestas:

22

Mi comentario probablemente podría usar alguna aclaración. Dije con la elocuencia de un yak ebrio:

Nunca he querido incendiarme tanto como ahora.

¿Por qué? ¿Por qué diría tal cosa? Sobre todo porque soy una persona horrible. Sin embargo, aparte de eso, puedo explicar mi arrebato revisando el post original:

Me gusta saber si es posible cargar servidores sftp de equilibrio en AWS.

Si. Imposible no es nada . Pero sepa que a menos que obtenga un paquete SFTP especial, el equilibrio de carga dependerá exclusivamente de usted para construir. El servicio que es SFTP y está alojado en AWS es intrascendente.

Tengo 2 servidores, y cada uno de mis servidores está usando s3fs-fuse para montar el mismo depósito S3 en un punto de montaje. Mis dos instancias ec2 pueden leer / escribir en sus puntos de montaje, y desde S3, puedo ver los archivos de ambos servidores.

Has tenido un buen comienzo con un sistema de archivos compartido, a pesar del rendimiento y la fiabilidad de la configuración.

En cuanto a mi próximo paso, me gusta saber cómo puedo cargar el equilibrio de mis servidores sftp, para que cuando un usuario se conecte a una dirección IP específica, los redirija a uno de mis servidores sftp.

La pregunta ahora es: ¿Por qué quieres cargar el equilibrio? El catálogo de instancias de Amazon ofrece una cantidad fantástica de rendimiento y potencia de procesamiento, y la necesidad de equilibrar la carga de SFTP significaría que se está acercando a los niveles porno de actividad de la red. Manténgalo simple, repetible y resistente siempre que sea posible. Obtenga un i2.xlarge con un demonio SFTP ejecutándose en él y debería estar bien sin importar qué. Constrúyalo con Puppet / Chef / $trendy-config-management-tooly estará en el negocio. Continuando sin embargo ...

Eché un vistazo a los equilibradores de carga elásticos, pero parecen permitir solo puertos específicos. También he investigado HAProxy, pero no estoy seguro de qué tan segura será esa solución.

HAproxy es exactamente el tipo de herramienta que necesita. Su incertidumbre sobre la seguridad se disipa fácilmente con solo unas pocas horas de lectura. Mi deseo de auto inmolarme está aumentando a partir de este momento. Si no está seguro acerca de algo, asegúrese de hacerlo. HAProxy es la opción para muchas instituciones financieras, hospitales y gobiernos.

Tengo que tener en cuenta el cumplimiento de HIPAA.

Totalmente entendido, pero el cumplimiento no es principalmente el papel de las herramientas. Deberá comprender los conceptos detrás de los requisitos de cumplimiento de HIPAA y ver cómo HAproxy puede cumplirlos. HAProxy no cumple ni con HIPAA ni con HIPAA. Independientemente de la herramienta que utilice, deberá verificar de forma independiente los supuestos y requisitos subyacentes de sus necesidades de cumplimiento y normativas. De hecho, en todo caso, S3 y el uso de instancias de Amazon deben inspeccionarse con más cuidado que el uso de HAproxy.

El equilibrador de carga debe ser una dirección IP estática, ya que nuestros proveedores no admiten nombres de host DNS

Esta. Esto lo hizo. Su vendedor es malo y debería sentirse mal. Ahora quiero saltar a la lava. No es compatible con algo básico como la resolución de DNS no tiene ninguna relación, pero también es como decir "Un automóvil debe tener un motor para que pueda usarlo". Bueno por supuesto. Por supuesto, un equilibrador de carga tendrá la capacidad de usar una dirección IP estática. Hay muchas más consideraciones que debe tener en cuenta sobre las direcciones IP estáticas simples anteriores.

TL; DR

Sí, puede cargar el equilibrio SFTP con HAproxy. El cumplimiento de HIPAA depende de usted para discernir y la elección de herramientas no marcará casillas. Tienes que buscar en Google y documentación para leer.

Tengo algunas llamas para apagar.

Wesley
fuente
Gracias por los comentarios y sugerencias sinceros. Los revisaré, pero esto me dará un comienzo.
popopanda
77
Esta es mi respuesta favorita en SF en bastante tiempo. <3
ceejayoz
Netscaler también tiene un modo SFTP para servidores virtuales, es posible que desee considerar eso también. Un dispositivo Netscaler con respaldo de instancia EC2 (con diferentes opciones de ancho de banda) está disponible a través del mercado de AWS. Aunque cuesta dinero.
Jukka
Después de trabajar en TI para el cuidado de la salud durante casi una década, los proveedores de terceros que no pueden admitir búsquedas de DNS, usan dominios que no son accesibles entre sistemas y otros niveles de impares que se enfrentan a los estándares aceptados no son particularmente sorprendentes y ocurren mucho más a menudo de lo que a nadie le gustaría. Por ejemplo, hace varios años, un proveedor me dijo que no podían admitir la autenticación de clave pública ssh porque no usaba contraseñas que pudieran rotarse cada 30 días. HIPAA parece causar una cierta cantidad de hiperparanoia y confusión. Me sorprende que AWS esté dispuesto a ser un BA.
Andrew Domaszek
0

Si. Es posible mediante el uso de AWS Load Balancer.

  1. Cree un Load Balancer con Listener en el puerto 22.
  2. Cree un grupo objetivo teniendo 2 de su instancia SFTP.
  3. Alinee correctamente sus SG tanto en la instancia como en el equilibrador de carga.
Dheepan Swaminathan
fuente