Mi grupo actualmente tiene dos servidores de almacenamiento de gran tamaño, ambos NAS ejecutan Debian Linux. El primero es un servidor todo en uno de 24 discos (SATA) que tiene varios años. Tenemos dos RAIDS de hardware configurados con LVM sobre esos. El segundo servidor tiene 64 discos divididos en 4 gabinetes, cada uno de ellos RAID 6 de hardware, conectado a través de SAS externo. Usamos XFS con LVM sobre eso para crear 100 TB de almacenamiento utilizable. Todo esto funciona bastante bien, pero estamos superando estos sistemas. Después de construir dos servidores de este tipo y seguir creciendo, queremos construir algo que nos permita una mayor flexibilidad en términos de crecimiento futuro, opciones de copia de seguridad, que se comporte mejor en caso de falla del disco (comprobar que el sistema de archivos más grande puede tomar un día o más) y puede resistir en un entorno muy concurrente (piense en un pequeño grupo de computadoras). No tenemos soporte de administración del sistema,
Por lo tanto, lo que buscamos es una solución de almacenamiento de rendimiento aceptable y de costo relativamente bajo que permita un crecimiento futuro y una configuración flexible (piense en ZFS con diferentes grupos que tienen diferentes características operativas). Probablemente estemos fuera del ámbito de un único NAS. Hemos estado pensando en una combinación de ZFS (en openindiana, por ejemplo) o btrfs por servidor con glusterfs corriendo encima de eso si lo hacemos nosotros mismos. Lo que estamos comparando es simplemente morder la bala e invertir en soluciones de almacenamiento Isilon o 3Par.
Cualquier sugerencia o experiencia es apreciada.
fuente
La ruta XFS + LVM es de hecho una de las mejores opciones para una solución de almacenamiento de Linux puro escalada en los últimos años. Me animo que ya estés allí. Ahora que necesita crecer más, tiene algunas opciones más disponibles.
Como saben, los grandes proveedores de hardware tienen cabezales NAS para su almacenamiento. De hecho, esto le daría un único proveedor con el que trabajar para que todo suceda, y funcionaría bastante bien. Son soluciones fáciles de obtener (en comparación con el bricolaje), y su capacidad de mantenimiento es menor. Pero, cuestan bastante. Por un lado, tendrá más recursos de ingeniería para resolver sus problemas principales en lugar de problemas de infraestructura; Por otro lado, si eres como la mayoría de los departamentos universitarios, he sabido que la mano de obra es realmente barata en relación con el pago en efectivo de las cosas.
Yendo por la ruta del bricolaje, ya tiene una buena apreciación de las opciones de bricolaje disponibles para usted. ZFS / BTRFS son la ruta de actualización obvia de XFS + LVM para el almacenamiento escalado. Me mantendría alejado de BTRFS hasta que se declare 'estable' en el núcleo de la línea principal de Linux, que debería ser bastante pronto ahora que varias de las principales distribuciones gratuitas lo están utilizando como el sistema de archivos predeterminado. Para ZFS, recomendaría usar una base BSD en lugar de OpenIndiana simplemente porque ha existido por más tiempo y tiene los problemas (más) resueltos.
Gluster fue diseñado para el caso de uso que describe aquí. Puede realizar la replicación y presentar un único servidor virtual con mucho almacenamiento conectado. Sus volúmenes distribuidos suenan exactamente lo que está buscando, ya que distribuyen los archivos en todos los servidores de almacenamiento en el volumen declarado. Puede continuar agregando servidores de almacenamiento discretos para continuar expandiendo el volumen visible. Nombre único espacio!
El problema con Gluster es que funciona mejor cuando sus clientes pueden usar Gluster Client para acceder al sistema en lugar de las opciones CIFS o NFS. Como está ejecutando un pequeño clúster de clúster, es posible que pueda utilizar el cliente GlusterFS.
Estás en el camino correcto aquí.
fuente
Según tengo entendido, podría usar una solución SAN basada en Linux SCST + FibreChannel o infiniband, que es algo que estoy construyendo en este momento. Como base para los LUN, puede usar LVM sobre RAID de hardware y ocuparse de las instantáneas / replicación (tome DRBD como ejemplo) por debajo del nivel del sistema de archivos. Como sistema de archivos, no conozco ninguna buena solución para la seguridad, ya que pongo ESXi en la parte superior de los nodos, por lo que los almacenes de datos son administrados por FS concurrente de ESX. Creo que GFS2 podría funcionar con ese entorno, pero no estoy 100% seguro, ya que debería verificar sus requisitos precisos. De todos modos, una vez que tenga una SAN robusta debajo de sus nodos, es bastante fácil hacer las cosas.
fuente