Soy bastante nuevo en ceph e intento averiguar si ceph admite HBA de incursión a nivel de hardware.
Lamentablemente no pude encontrar ninguna información. Lo que encontré es que se recomienda usar discos simples para OSD. Pero esto empuja los requisitos a PCIe, las interfaces del disco a anchos de banda altos y los requisitos de CPU son muy altos. Los controladores RAID de hardware ya han resuelto estos requisitos y proporcionan una alta redundancia basada en las configuraciones sin consumir mi PCIe, CPU o cualquier otro recurso.
Entonces, mi configuración deseada sería tener controladores RAID locales, que manejan mi redundancia en disco a nivel de controlador (Raid 5, raid 6), sea cual sea el nivel RAID que necesito. Además de los LUN RAID, me gustaría usar ceph para hacer el mayor nivel de replicación entre: host, chasis, rack, fila, centro de datos o lo que sea posible o plano en CRUSH
¿Alguna experiencia en esa configuración?
¿Es una configuración recomendada?
¿Alguna documentación detallada para esta integración RAID de hardware?
fuente
En realidad no, muchas cargas de trabajo de almacenamiento se sirven bien con CPU e interconexiones modernas de uso general.
Sí, un controlador RAID se encarga de la redundancia con un puñado de discos en un chasis. Pero eso es costo y complejidad cuando ejecuta soluciones de almacenamiento distribuido de múltiples nodos ya redundantes como Ceph. ¿Por qué molestarse en duplicar un disco físico cuando Ceph ya tiene varias copias del mismo?
Los componentes básicos de esta solución son solo un montón de discos. Tales como la Bóveda abierta de Open Compute Storage . 30 husos en un gabinete, conectados a un nodo de cómputo de quizás un par de docenas de núcleos de CPU. Agregue tantos nodos como necesite para escalar. Puede dejar ese cálculo dedicado a Ceph si desea maximizar el rendimiento.
fuente
La configuración recomendada es utilizar discos individuales o, eventualmente, discos en pares RAID-1.
Un solo controlador SAS (o un controlador RAID en modo JBOD) puede manejar varios cientos de discos sin ningún problema.
El uso de matrices muy grandes derrota el propósito mismo de CEPH, que es evitar puntos únicos de fallas y "puntos calientes". También dañará su redundancia.
Supongamos que desea construir un clúster 1 PB CEPH con unidades de 8 TB, con chasis de servidores de 36 discos (hardware normal tipo Supermicro). Comparemos las configuraciones con y sin RAID en términos de capacidad de almacenamiento y confiabilidad:
Con RAID-6 necesita 5 chasis (y 10 OSD).
Con CEPH y 5 chasis tendrás 180 OSD.
fuente