Agregar 60 TB de almacenamiento a un servidor SLES 10

Tengo que agregar algo de almacenamiento de almacenamiento de archivos a un servidor SLES 10. El requisito es presentar volúmenes bastante grandes (9-20TB cada uno aproximadamente, 60TB en total) que se usarán para almacenar datos de archivo (literalmente, esto es para una biblioteca) que comprende archivos de imágenes grandes (150Meg Tiff's en su mayor parte) y grandes bolas de alquitrán. Los datos tendrán una tendencia abrumadora a leer IO, ciertamente> 95% y probablemente más del 99%.

El almacenamiento ya se ha comprado: una matriz Dell MD3000 SAS conectada en serie con 2 unidades MD1000 completamente pobladas con unidades SATA de 2TB 7200 RPM, 45 unidades en total. La pila de matrices se conecta mediante dos adaptadores SAS externos de doble puerto, es decir, hay 4 rutas a la pila.

Mi intención es configurarlos como un conjunto de 4 volúmenes ubicados en 4 grupos RAID con un repuesto dinámico por arreglo. Todos los grupos serán RAID 6 con 7 o 14 unidades, y cada grupo RAID se presentará como un único LUN con toda la capacidad de ese grupo. En el lado de SLES, estos deben formatearse como volúmenes XFS.

Tengo una experiencia limitada con SLES (y Linux en general) y estoy buscando algunas recomendaciones sobre esto, específicamente:

1. ¿Hay cosas específicas a tener en cuenta al configurar volúmenes XFS de este tamaño en SLES 10, es decir, la configuración predeterminada va a estar bien dado el perfil IO?
2. ¿Cuál es la mejor manera de inicializar \ partición \ formatear estos? Usé Parted para establecer una etiqueta de disco y el Administrador de particiones YAST (aceptando todos los valores predeterminados) para crear y formatear el volumen XFS para mi prueba inicial.
3. ¿Cómo configuro múltiples rutas? Cuando presento un volumen de prueba inicial, aparece como cuatro dispositivos separados (/ dev / sdl, / dev / sdm, / dev / sdn y / dev / sdn). ¿Qué hago para trabajar con esto como un solo volumen?
4. En mi prueba inicial, veo tasas de transferencia de un volumen existente de EMC Clariion SAN de alrededor de 30Meg / seg. Esto es mucho más bajo de lo que esperaba, incluso teniendo en cuenta la penalización de escritura RAID 6 que esperaba ver algo en el estadio de 70-100Meg / seg.
5. ¿Cómo puedo saber si todo está bien? ¿Dónde debo buscar errores \ advertencias, etc.? El editor de partición YAST tarda mucho tiempo en iniciarse, por ejemplo, y me gustaría entender por qué.
6. ¿Particionaría esto de manera diferente y \ o usaría un sistema de archivos diferente?

El servidor es un Dell 2950: no he comprobado las especificaciones detalladas, pero la parte superior muestra la utilización flotando en los dígitos únicos bajos como máximo.

En mi trabajo anterior tuvimos un problema similar. Estábamos produciendo planetarios y cada cuadro tenía 64 megapíxeles. Muchas imágenes grandes. Estos serían procesados ​​para cada teatro en una operación de lectura muy agresiva en un grupo de computadoras.

El servidor en este caso tenía una configuración de almacenamiento similar. Múltiples matrices RAID conectadas directas externas. Cada uno de estos estaba en volúmenes RAID6 expuestos al host y agregados a un VG (Grupo de Volumen) bajo LVM (Administrador de Volumen Lógico). Cada espectáculo / producción obtendría su propio LV (volumen lógico), XFS formateado, que creceríamos con el proyecto según sea necesario.

Si sus conjuntos de datos son bastante estáticos o crecen de una manera predecible como esta, entonces este enfoque debería funcionar bien para usted. Pero tenga cuidado, este enfoque tiene un inconveniente. Terminas teniendo que administrar micro los LV en tu almacenamiento. Algunos administradores lo prefieren de esta manera, pero otros intentarían evitarlo. Pero esto le permite hacer crecer cada sistema de archivos LV y XFS a medida que crece el conjunto de datos. Mantener sus volúmenes XFS lo más pequeños posible para que no se quede atascado con un fsck que lleva años completar. Y puede actuar como control de daños en caso de que un sistema de archivos vaya hacia el sur.

Descargo de responsabilidad: si tuviera que configurar esto hoy, usaría OpenSolaris y ZFS. Principalmente b / c evita los problemas de microgestión y es un administrador de sistema de archivos / volumen superior. Por lo tanto, es posible que desee ver eso también.

Estaría mucho más incluido para comprar más discos y RAID 10.

He tenido problemas horrendos con cientos de discos FATA de 1TB (SATA unidos a fibra) que compramos hace un tiempo, ¡estos cuestan £ 1k cada uno y estoy perdiendo un 5% por mes! Básicamente, no están diseñados para un ciclo de trabajo 24x7 y es posible que tenga los mismos problemas por lo que recomendaría R10.

RAID6 es un paso en la dirección correcta, pero si tiene la capacidad, dejaría al menos un disco a un lado como repuesto en caliente: si un disco muere en cualquier lugar de su matriz, saltará y se rajará mientras espera que lo haga. Reemplace el disco fallido. Sobre ese tema, asegúrese de tener al menos 2 o 3 discos de repuesto en el sitio listos para el reemplazo y también asegúrese de tener toda la configuración de alertas para informarle cuando hay un problema 24x7.

En cuanto al rendimiento, bueno, esos discos de 2GB no son tan holgados para un disco de 7.2k y SAS puede ser muy rápido, por lo que esperaría los 70MBps para las lecturas secuenciales que mencionó, obviamente los randoms y las escrituras serán bastante bajas.

Lo siento si parezco negativo, solo he luchado con el almacenamiento durante años y solo puedo dormir fácilmente con los sistemas de disco de la empresa: acabo de hacer demasiados turnos de 48/72 horas arreglando equipos de gama baja.