Mejora de la velocidad de escritura mdadm RAID-6

Tengo un mdadm RAID-6 en mi servidor doméstico de 5x1Tb WD Green HDDs. La velocidad de lectura es más que suficiente: 268 Mb / s en dd. Pero la velocidad de escritura es de solo 37.1 Mb / s. (Ambos probados mediante dd en un archivo de 48 Gb, el tamaño de RAM es de 1 Gb, el tamaño de bloque utilizado en las pruebas es de 8 kb)

¿Podría sugerir por qué la velocidad de escritura es tan baja y hay alguna forma de mejorarla? El uso de la CPU durante la escritura es solo del 25% (es decir, la mitad de 1 núcleo de Opteron 165) No hay datos críticos de negocios allí y el servidor está respaldado por UPS.

mdstat es:

Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sda1[0] sdd1[4] sde1[3] sdf1[2] sdb1[1]
      2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

¿Alguna sugerencia?

Cosas como reescritura, barrera, nobh no ayudaron. DD blocksize = 1M, 8M no cambió nada. Parece que mdadm lee físicamente sectores para calcular la paridad, incluso si no importa ... ¿Es eso correcto?

Actualización: la degradación de la velocidad después de la alteración de la memoria caché de bandas fue en realidad porque 1 HDD probablemente falló durante la prueba, agradable :-D

Resuelto: después de aumentar el caché de bandas y cambiar a un mapa de bits externo, mis velocidades son 160 Mb / s de escritura, 260 Mb / s de lectura. :-RE

¿Has probado tuning / sys / block / mdX / md / stripe_cache_size?

Según esta publicación del foro (en noruego, lo siento) "ajustar este parámetro es más esencial cuanto más discos y más rápido tenga el sistema":

En mi sistema obtengo el mejor rendimiento usando el valor 8192. Si uso el valor predeterminado de 256, el rendimiento de escritura cae un 66%.

Citando su velocidad para comparar:

Discos: 8xSeagate 2TB LP (5900RPM) en mdadm RAID6 (-n 512) (stripe_size_cache = 8192).

CPU: Intel X3430 (4x2.4GHz, 8GB DDR3 ECC RAM)

Velocidad: escritura secuencial de 387 MB / s, lectura secuencial de 704 MB / s, 669 búsquedas aleatorias por segundo.

Mi servidor doméstico tiene casi los mismos discos que usted, utilizando RAID 5:

Discos: 4x1.5TB WD Green en RAID 5 (stripe_size_cache = 256 - el valor predeterminado)

CPU: Intel i7 920 (2,66 GHz, 6 GB de RAM)

Velocidad: escritura secuencial de 60 MB / s, lectura secuencial de 138 MB / s (según Bonnie ++)

Por lo tanto, parece que el rendimiento de escritura secuencial es alrededor del 50% del rendimiento de lectura.

Para saber qué rendimiento esperar, Linux Raid Wiki dice acerca de RAID 5:

Las lecturas son casi similares a las lecturas RAID-0, las escrituras pueden ser bastante caras (requieren lectura antes de la escritura, para poder calcular la información de paridad correcta, como en las operaciones de la base de datos), o similares a RAID-1 escrituras (cuando se realizan escrituras secuenciales más grandes, y la paridad se puede calcular directamente a partir de los otros bloques que se escribirán).

Y sobre RAID 6:

El rendimiento de lectura es similar al RAID-5, pero el rendimiento de escritura es peor.

tratar

echo 32768 > /sys/block/md0/md/stripe_cache_size

y comprobar;)