Increíblemente bajo rendimiento de disco en HP ProLiant DL385 G7

12

Como prueba de la familia de procesadores Opteron, compré un HP DL385 G7 6128 con el Controlador HP Smart Array P410i, sin memoria.

La máquina tiene 20 GB de RAM
2x146GB 15k rpm SAS + 2x250GB SATA2, ambos en configuraciones Raid 1.
Ejecuto Vmware ESXi 4.1.

Problema:
incluso con una sola máquina virtual, probé Linux 2.6 / Windows server 2008 / Windows 7, las máquinas virtuales se sienten realmente lentas. Con Windows 7, la instalación del convertidor vmware incluso agotó el tiempo de espera. Los discos SATA y SAS probados y los discos SATA son casi inutilizables, mientras que los discos SAS se sienten extremadamente lentos.

No puedo ver mucha actividad de disco en el cliente de infraestructura, pero no he estado buscando causas o incluso he intentado el diagnóstico porque tengo la sensación de que es por el controlador de incursión barato, o simplemente por la falta de memoria para ello.

A pesar de los problemas, continué e instalé una máquina virtual que cumple una función clave, por lo que no es fácil desmontarla y ejecutar diagnósticos.
Me gustaría saber lo que ustedes tienen que decir al respecto, ¿es más probable que sea un problema con el controlador / discos o es un bajo rendimiento debido a los componentes del presupuesto?

Gracias por adelantado,

3molo
fuente
Dentro de una máquina virtual en la incursión SAS, obtengo aproximadamente 60 MB / s de escritura usando 'dd if = / dev / zero of = somefile bs = 1M count = 1024'. Supongo que eso es lo que se espera, por lo que quizás todas las pruebas con un rendimiento extremadamente bajo realmente solo tengan en cuenta los discos SATA. Los discos sata son 5.4k rpm, pero sigo pensando que uno (o una incursión 1) de disco sata 5.4k rpm debería estar razonablemente bien para un invitado de windows 7.
3molo
Entonces quiero reformular la pregunta; ¿Ganaría algo comprando un mejor controlador o comprando memoria para mi P410i? (De cualquier manera, tengo la intención de obtener 4 discos SAS más)
3molo

Respuestas:

26

El HP Smart Array P410 es un buen controlador, pero obtendrá un bajo rendimiento si no tiene instaladas las unidades de caché con respaldo de batería o flash. El caché hace una gran diferencia en que las escrituras son almacenadas en la memoria caché antes de ser confirmadas en el disco. Obtiene la confirmación de escritura en la aplicación sin tener que incurrir en la latencia de las unidades de disco físicas.

Aquí hay un dd de 4 GB en un sistema con especificaciones similares (DL380 G7 con 24 GB de RAM y un p410 con 2 x discos SAS y 1 GB de caché de escritura respaldada por flash). La RAM ayuda mucho en una prueba como esta, pero te haces una idea ...

[root@xxxx /]# dd if=/dev/zero of=somefile bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 3.70558 seconds, 1.2 GB/s

Pero de manera realista, su rendimiento de escritura con dos unidades SAS en un RAID 1 en ese controlador con el caché apropiado debe estar entre 130-170 megabytes / segundo. Una iozoneprueba rápida de la configuración del servidor anterior muestra:

[root@xxxx /]# iozone -t1 -i0 -i1 -r1m -s16g
Write
Avg throughput per process                      =  166499.47 KB/sec
Rewrite:
Avg throughput per process                      =  177147.75 KB/sec

Como está utilizando ESXi, no puede ejecutar actualizaciones de firmware en línea. Debe descargar el DVD actual de Smart Update Firmware , grabarlo en el disco y asegurarse de que su sistema tenga un parche relativamente reciente.

Aquí están las especificaciones rápidas del controlador: http://h18004.www1.hp.com/products/quickspecs/13201_na/13201_na.html

Desea comprar uno de los siguientes, que van desde $ 350- $ 600 US:
512 MB BBWC
512 MB Memoria caché de escritura respaldada por flash Memoria
caché de escritura respaldada por flash 1G

Para responder a su pregunta, la solución de caché será de gran ayuda. Los discos adicionales no harán mucha diferencia hasta que maneje la situación de almacenamiento en caché.

* Nota para otros usuarios. Si tiene memoria caché en controladores HP recientes con firmware actualizado, hay una anulación de memoria caché de escritura disponible si tiene RAM en el controlador pero no hay unidad de batería. Es un poco arriesgado, pero puede ser un paso intermedio para probar cómo sería el rendimiento al comprar una batería o una unidad de flash.

ewwhite
fuente
2
+1, tener un sistema rápido como este sin caché de escritura es estupidez. ¡Compre el caché del controlador y la batería!
Pauska
Si si si si si si si +1 mucho.
mfinni
Cuanto más caché, más feliz serás. El módulo 512 BBWC es la mejor inversión para su inversión.
ErnieTheGeek
3
No entiendo por qué HP incluso vende el p410 o ciertas configuraciones de servidor sin caché. Mucha gente se encuentra con este problema.
Ewwhite
44
@ewwhite: es posible que su comando dd no sea representativo del rendimiento de su disco, ya que es muy probable que esté almacenado en caché en la capa vmfs. Debe agregar "oflag = direct" a su comando dd para que use O_DIRECT al abrir el archivo, lo que omitirá el caché vmfs. 1.2GB / s es demasiado alto para una matriz SAS de dos discos :)
Daniel Lawson
3

Verifique la versión del firmware del controlador y actualícela si es posible.

He experimentado problemas similares con Smart Array 410i reconstruyendo la matriz muy lentamente después de la falla del disco (más de 2 días para 2 unidades SAS inactivas). En mi caso, el problema estaba en el firmware desactualizado. Desde mi experiencia, el firmware es sorprendentemente la respuesta a cualquier problema con los componentes de almacenamiento de HP, por lo que recomiendo comprobarlo primero y, si no funciona, abra el caso de soporte en HP (para eso están;).

pitr
fuente
0

Corría más unidades que están rayadas de alguna manera. El caché de escritura hará una diferencia significativa. Un par de unidades SAS duplicadas no es lo suficientemente rápido para ninguna de nuestras cosas. Algunas de las cosas (mucho) más caras realmente pueden almacenar en caché todas sus máquinas virtuales en la memoria.

JOTN
fuente
0

Como dice otro, para las operaciones de almacenamiento local o remoto / compartido con la virtualización VMWare, es casi necesario tener un controlador o matriz RAID con caché BBWC (caché de respaldo de batería), de otra manera el almacenamiento funcionará extremadamente e inutilizable lentamente con discos de husillo SAS / SATA , solo con SSD eventualmente puede usar VMWare ESXi 3/4/5 sin caché de escritura / lectura y puede que no tenga un rendimiento tan malo (también recomiendo escribir caché para SSD también).

NTShad0w
fuente