¿Es una mejor práctica comprar discos RAID individualmente en lugar de a granel?

Esto puede sonar como una pregunta extraña, pero generó una discusión enérgica con algunos de mis colegas. Considere una matriz RAID de tamaño moderado que consta de algo así como ocho o doce discos. Al comprar el lote inicial de discos, o comprar reemplazos para agrandar la matriz o actualizar el hardware, hay dos enfoques generales que uno podría tomar:

1. Compre todas las unidades en un pedido de un proveedor y reciba una caja grande que contiene todos los discos.
2. Solicite un disco cada uno de una variedad de proveedores y / o distribuya (durante un período de días o semanas) varios pedidos de un disco cada uno.

Hay un término medio, obviamente, pero estas son las principales mentalidades opuestas. He tenido una curiosidad genuina sobre qué enfoque es más sensible en términos de reducir el riesgo de falla catastrófica de la matriz. (Definamos eso como "el 25% de los discos fallan dentro de una ventana de tiempo igual al tiempo que se tarda en reactivar la matriz una vez".) La lógica es que, si todos los discos provienen del mismo lugar, todos podrían tener el mismo defectos subyacentes a la espera de huelga. La misma bomba de tiempo con la misma cuenta regresiva inicial en el reloj, por así decirlo.

He recopilado un par de los pros y los contras más comunes para cada enfoque, pero algunos de ellos se sienten como conjeturas e instinto en lugar de datos basados ​​en evidencia sólida.

Compre todos a la vez, profesionales

• Menos tiempo dedicado a la fase de investigación / pedido.
• Minimiza el costo de envío si el vendedor cobra por ello.
• Se garantiza que los discos tendrán la misma versión de firmware y las mismas "peculiaridades" en sus características operativas (temperatura, vibración, etc.)
• Los aumentos de precios / escasez de existencias es poco probable que detengan el proyecto a mitad de camino.
• Cada disco siguiente está disponible en el momento en que es necesario instalarlo.
• Todos los números de serie se conocen por adelantado, los discos se pueden instalar en el gabinete en orden creciente de número de serie. Parece demasiado quisquilloso, pero algunas personas parecen valorar eso. (Supongo que su interfaz de administración ordena los discos por número de serie en lugar de por orden de puerto de hardware ...?)

Compra todo a la vez, contras

• Todos los discos (probablemente) provienen de la misma fábrica, hechos al mismo tiempo, de los mismos materiales. Fueron almacenados en el mismo ambiente y sujetos a los mismos posibles abusos durante el tránsito. Cualquier defecto o daño presente en uno probablemente esté presente en todos.
• Si las unidades se reemplazan de una en una en una matriz existente y cada disco nuevo necesita ser recuperado individualmente, podrían pasar semanas antes de que se instale el último disco del pedido y se descubra que está defectuoso. La ventana de devolución / reemplazo con el proveedor puede caducar durante este tiempo.
• No puedo aprovechar las reducciones de precios en el futuro cercano que pueden ocurrir durante el proyecto.

Compre individualmente, profesionales

• Si un disco falla, comparte muy poco historial de fabricación / tránsito con cualquiera de los otros discos. Si la falla fue causada por algo en la fabricación o tránsito, la causa raíz probablemente no ocurrió en ningún otro disco.
• Si un disco está muerto al llegar o falla durante las primeras horas de uso, eso se detectará poco después de que llegue el envío y el proceso de devolución puede ser más fluido.

Compra individualmente, contras

• Toma una cantidad significativa de tiempo encontrar suficientes vendedores con precios aceptables. El seguimiento de pedidos, la falla de entrega, las devoluciones de artículos dañados y otros problemas pueden llevar mucho tiempo resolverlos.
• Costes de envío potencialmente más altos.
• Existe una posibilidad muy real de que se requiera un nuevo disco, pero no habrá ninguno disponible, lo que detendrá el proyecto.
• Beneficio imaginado. Independientemente del proveedor o la fecha de compra, todos los discos provienen del mismo lugar y son realmente iguales. El control de calidad habría detectado defectos de fabricación y no se habrían vendido discos de calidad inferior. El daño de envío tendría que ser tan notorio (y claramente visible a simple vista) que las unidades dañadas serían obvias al desempacar.

Si vamos simplemente por conteo de viñetas, "comprar a granel" gana con bastante claridad. Pero algunos de los pros son débiles, y algunos de los contras son fuertes. Muchas de las viñetas simplemente indican el inverso lógico de algunas de las otras. Algunas de estas cosas pueden ser supersticiones absurdas. Pero si la superstición hace un mejor trabajo al mantener la integridad de la matriz, creo que estaría dispuesto a aceptarla.

¿Qué grupo es más sensible aquí?

ACTUALIZACIÓN: Tengo datos relevantes para esta discusión. La última matriz que construí personalmente (hace unos cuatro años) tenía ocho discos. Ordené de un solo proveedor, pero dividí la compra en dos pedidos de cuatro discos cada uno, con un mes de diferencia. Un disco de la matriz falló en las primeras horas de ejecución. Era del primer lote, y la ventana de devolución para ese pedido se había cerrado en el tiempo que tardó en girar todo.

Cuatro años más tarde, los siete discos originales más un reemplazo todavía se ejecutan sin errores. (toco madera.)

En la práctica, las personas que compran a proveedores empresariales (HPE, Dell, etc.) no se preocupan por esto .

Las unidades de estos proveedores ya están distribuidas en varios fabricantes con el mismo número de pieza.

Un disco HP bajo un SKU particular puede ser HGST o Seagate o Western Digital.

Mismo número de pieza de HP, variación del fabricante, número de lote y firmware

Sin embargo, no debe intentar burlar / burlar la probabilidad de falla del lote. Puede intentarlo si le da tranquilidad, pero puede que no valga la pena el esfuerzo.

Las buenas prácticas como la agrupación en clúster, la replicación y las copias de seguridad sólidas son la protección real contra fallas por lotes. Agregue repuestos fríos y calientes. Monitoree sus sistemas de cerca. Aproveche los sistemas de archivos inteligentes como ZFS :)

Y recuerde, las fallas del disco duro no siempre son mecánicas ...

En deferencia a la respuesta de ewwhite, algunos administradores de sistemas ordenan en lotes. Nunca, yo mismo, ordenaría unidades de forma individual, pero las operaciones estándar en el último lugar donde trabajé con tal capacidad fue ordenar unidades en lotes. Para una máquina de doce unidades, SOP dictaminó que las unidades se dividieran en tres lotes, dando a la máquina un perfil de redundancia de tres niveles.

Sin embargo, otros equipos pequeños a los que he consultado han seguido diferentes protocolos, algunos no preocupados por el lote y otros dividiendo lotes en dos o cuatro conjuntos. La respuesta corta es hacer lo que se siente apropiado para el nivel de servicio que necesita alcanzar.

Nota al margen: el último lugar donde trabajé fue sin duda hacer lo correcto. La máquina de almacenamiento de la aplicación decidió fallar en un lote completo de unidades, y descubrimos que este lote en particular tenía la misma falla. Si no hubiéramos seguido un protocolo por lotes, habríamos sufrido una pérdida catastrófica de datos.

Respuesta honesta de alguien que ha pasado mucho tiempo lidiando con matrices de incursiones moribundas y unidades difíciles: no puede tener todas sus unidades del mismo lote si puede evitarlo.

Mi experiencia solo se aplica a los discos giratorios, los SSD tienen sus propios problemas y beneficios a tener en cuenta al realizar pedidos masivos.

Exactamente, la mejor manera de manejar las cosas depende principalmente de qué tan grande es la matriz con la que está trabajando, si está trabajando con algo así como 6 matrices de unidades con redundancia de 2 unidades, probablemente pueda comprar unidades similares de 3 fabricantes de manera segura y dividir la matriz como eso.

Si está utilizando una unidad extraña o está trabajando con matrices que no se pueden dividir fácilmente, puede probar otros enfoques, como comprar la misma unidad de diferentes proveedores, o si está comprando en grandes cantidades, puede consultar e intente separar las unidades según la probabilidad de que se fabriquen juntas.

Si está ejecutando una matriz lo suficientemente pequeña con la tecnología subyacente adecuada, incluso podría valer la pena construirla gradualmente a partir de suministros de disco heterogéneos. Comience con la cantidad mínima de unidades con las que puede salirse y compre el próximo suministro un mes o dos más tarde, o cuando llene el sistema. Eso también le permite tener una idea de cualquier problema que pueda haber con los modelos particulares que eligió.

La razón detrás de este consejo es una combinación de dos peculiaridades de las unidades.

1. MTBF se rompe notablemente cuando tiene muchas unidades con orígenes similares. En estadística lo llamaríamos un sesgo de muestreo, debido a la similitud en sus muestras, los efectos promedio tenderán a ser menos útiles. Si hay una falla en el lote o incluso en el diseño en sí, y ocurre con más frecuencia de lo que piensas, las unidades de ese lote fallarán antes de lo que sugiere MTBF.

   Si las unidades se extienden, es posible que obtenga [50%, 90%, 120%, 200%] de MTBF, pero si todas las unidades provienen de ese lote del 50%, tiene un desastre en sus manos.

2. El reensamblaje de la matriz Raid mata discos. No realmente. Si se produce un fallo en la unidad y la matriz se reconstruye, se aplicará una carga adicional en las otras unidades mientras escanea los datos. Si tiene una unidad cerca de la falla, la reconstrucción puede eliminarla, o puede que ya tenga una ubicación de falla de la que no estaba al tanto porque esa sección no se había leído recientemente.

   Si tiene muchas unidades del mismo lote, las posibilidades de que ocurra este tipo de falla en cascada son mucho mayores que las posibilidades si son diferentes. Puede mitigar esto haciendo escaneos regulares de patrulla, matorrales, recuperación, cualquiera que sea la práctica recomendada para el tipo de matriz que está utilizando, pero la desventaja es que afectará el rendimiento y puede tardar horas en completarse.

Para obtener un contexto sobre cuán salvajemente varía la longevidad de las unidades, Backblaze realiza un informe de estadísticas de fallas de unidades regulares ... No estoy afiliado a la compañía de ninguna manera, pero deberían saber de qué están hablando sobre el tema de la confiabilidad de la unidad . Un ejemplo es https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/ ... su conjunto de muestras probablemente será más pequeño, por lo que los datos periféricos pueden arruinar su propia experiencia, todavía es Una buena referencia.

Tuve que considerar este problema para un cliente hace un par de años. Tengo una combinación de experiencia práctica e investigación para respaldar la recomendación de múltiples fuentes.

Dejando a un lado sus pros y sus contras por el momento, así como la excelente respuesta de ewwhite , la prudencia sugiere que si está comprando las unidades usted mismo, las multisource. Un vistazo rápido a la discusión de Wikipedia sobre las debilidades de RAID apunta a dos referencias interesantes.

La primera referencia es el RAID de papel ACM : almacenamiento secundario confiable y de alto rendimiento (Chen, Lee, Gibson, Katz y Patterson. Encuestas de computación de ACM. 26: 145-185). En la sección 3.4.4, los autores señalan que las fallas de hardware no siempre son eventos estadísticamente independientes y explican las razones. En el momento en que escribo esta respuesta, el documento está disponible en línea; Las páginas 19-22 discuten la confiabilidad ( http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.41.3889 ).

La segunda referencia son las fallas de disco en el mundo real: ¿qué significa para usted un MTTF de 1,000,000 de horas? (Schroeder, Gibson. 5ª Conferencia USENIX sobre tecnologías de archivo y almacenamiento.) Los autores presentan datos estadísticos para respaldar la afirmación de que las fallas de las unidades pueden agruparse en el tiempo a una velocidad mayor a la prevista para eventos independientes. En el momento en que escribo esta respuesta, este documento también está disponible en línea ( https://www.usenix.org/legacy/events/fast07/tech/schroeder/schroeder_html/index.html ).

Dell recomendó explícitamente contra RAID 5 en 2012 debido a fallas de disco correlacionadas en entornos de disco grande; Se pronostica que RAID 6 no será confiable por razones similares alrededor de 2019 (un artículo de ZDNet titulado "why-raid-6-stops-working-in-2019": http://www.zdnet.com/article/why-raid-6 -stops-trabajando-en-2019 / ). Mientras que un elemento clave de ambos es el tamaño del disco y reconstruir veces, pequeños tamaños de disco y multisourcing habían recomendado como un mitigador de la emisión de RAID 5.

Entonces sí, puede usar varias unidades si puede; Si está comprando a un proveedor empresarial como se describe en la respuesta de ewwhite, esto puede estar sucediendo para usted de manera transparente. Sin embargo ... mi cliente compró 16 unidades de 2TB de un proveedor empresarial. Simplemente eran del mismo fabricante y parecían fabricarse al mismo tiempo. Dos de las unidades fallaron en las dos semanas posteriores a la configuración de las matrices RAID01. Así que revisa las unidades cuando las obtengas. (Ya los revisas de todos modos, ¿verdad?)

Otra desventaja potencial para ordenar unidades individualmente es el embalaje y la manipulación.

Los discos duros casi nunca se suministran en envases minoristas. Si los compra uno a la vez, es casi seguro que el vendedor los reempacará. He encontrado este reempaquetado por muy variable. A veces obtienes una bonita caja con mucho relleno, pero otras veces casi no tienes relleno.

Una caja más pequeña también es más vulnerable a ser arrojada por transportistas sin daño externo obvio.

Si está tratando de mitigar el escenario de "lote incorrecto", lo que significa que cada unidad en un lote de compra particular puede / fallará casi al mismo tiempo, también es importante tener en cuenta el tamaño de la matriz y el nivel de RAID que se está utilizando.

Si considera realizar varios pedidos, no se aplicará ningún estándar establecido en todos los ámbitos. Las personas que recomiendan entre 2 y 4 niveles de compra deben preguntarse, si falla un nivel completo de unidades, ¿la matriz seguirá en línea? Entonces, para niveles de redundancia RAID como 1/5/10/50, tendría que comprar unidades 1 a la vez. Para RAID6 puede comprar 2 a la vez.

Recomendaría independientemente de cómo compre las unidades de las que hace copias de seguridad regularmente y compre repuestos adecuados de frío / calor para su tamaño de matriz y tipo de RAID.

Siempre compro usado / a granel. Los pedidos que rastreo son casi siempre del mismo modelo de dispositivo, y el uso al menos mitiga la preocupación sobre un "lote incorrecto". Hay tanto hardware de venta de incendios flotando en la web que me cuesta mucho justificar la compra de nuevas unidades (o cualquier otra cosa) a menos que sea para hardware de misión crítica (¡y todo nuestro hardware de respaldo todavía está restaurado!)

+ PRO: los precios competitivos en línea y la constante inundación de hardware de los entornos comerciales cambiantes significa que casi no se necesita esfuerzo para obtener un 50-80% de descuento en el comercio minorista para los tirones del entorno laboral.

+ PRO: el precio bajo libera el presupuesto para comprar en exceso y mantener un stock sólido de hardware de reemplazo.

+ PRO: Relaciones con el vendedor Tengo un puñado de vendedores en línea a los que obtengo pequeños descuentos del descuento ya considerable para la renovación / hardware usado. Por lo general, no obtendrá eso con Monoprice a menos que compre en una gran cantidad o tenga un SLA con ellos. Además, especialmente con los discos duros, solo asegúrese de probarlos de inmediato. Nunca he tenido un problema con un vendedor que no reembolsa o reemplaza el hardware DOA (a menos que haya sido una estafa que no pude detectar).

-CON: Garantía, cuestiones de legitimidad La garantía se basa en la fecha de fabricación del dispositivo, también deberá vigilar a los vendedores en línea que intentan venderle nuevas marcas, clones, etc.

-CON: Las pruebas deben tener en cuenta los gastos generales de las pruebas. De todos modos, también debería probar hardware nuevo, por lo que no está seguro de si esto aplica.

-CON: vida útil difícil de juzgar; un poco más susceptible a fallas de disco.

Nota: si es una compilación del cliente y no solicitan explícitamente la renovación / uso, ¡siempre por brillante / nuevo!

Es posible obtener más confiabilidad utilizando discos duros que provienen de diferentes lotes e, idealmente, de fabricantes. De lo contrario, pueden fallar demasiado cerca en el tiempo. La excelente respuesta de @Eliodorus explica esto lo suficiente.

Por supuesto, no importa quién baraja los discos. Si su proveedor confirma que ya lo hace por usted, no necesita preocuparse. Sin embargo, no parece razonable hacer un análisis forense sobre un proveedor quizás diferente y concluir que alguien lo hace por usted si no se lo informan directamente. Los proveedores generalmente no son flojos para anunciar varias medidas que toman para aumentar la confiabilidad de sus unidades.

En realidad, depende del nivel de matriz redundante de discos económicos (Raid). En la incursión dos, tres, cuatro, cinco y seis, es útil tener unidades de varios lotes diferentes, pero no es decisivo: uno ya inherentemente pierde confiabilidad y rendimiento al usar estos niveles.

Ahora, para la opción generalmente sensata, la de usar Raid 1 (reflejo) o 1 + 0 (rayas sobre espejos), es realmente útil tener diferentes unidades en diferentes lados de cada espejo (cada matriz de Raid 1), para No hacer que el espejo falle durante una recuperación. Además, debe haber repuestos dinámicos para minimizar la ventana de recuperación.

Para obtener más información, consulte el sitio web de Battle Against Any Raid 'F'2 (Baarf), irónico pero informativo, de la prestigiosa red de DBAs de Oak Table . Wikipedia también resume muy bien el problema.

Hasta donde sé, el control de calidad del almacenamiento en disco en la fábrica es bastante alto, y personalmente no temería una falla de hardware a granel debido a razones de fabricación.

Y si fuera un poco paranoico, simplemente compraría almacenamiento de dos fabricantes diferentes que sé que no comparten fábricas, a través del mismo proveedor.

El almacenamiento es tan barato, que no tiene sentido que una empresa NO compre a granel, y dentro de la empresa también cancelará el almacenamiento después de un par de años, por lo que la inversión no es tan buena. El tiempo que lleva comprar a proveedores individuales probablemente cuesta más debido al tiempo dedicado.

Si todavía tiene miedo de fallas en el disco a granel, compre más de lo que necesita. si sabe que necesita 12 discos, compre 5 a 7 de repuesto. Eso solo sería $ 48 por 5 a 7, por terabyte, y aún podemos ir más baratos sin hacer que nuestro sistema sea inestable o inseguro porque si se descuentan en discos a granel o de segunda mano (por qué es seguro). De lo que hablamos de resilver / reinicializar la matriz, ahora, por supuesto, no tengo forma de saber qué tan grande es su solución de almacenamiento ahora, pero si pasa semanas en esta tarea, probablemente consideraría reconfigurar el almacenamiento de la organización, ya que esto suena (para mí) más como una configuración errónea que cualquier otra cosa de una manera u otra.

Si nos volvemos REALMENTE paranoicos, obtenga el doble de la solución de almacenamiento que esté ejecutando, en función de cuán sensible sea su organización a una falla en el almacenamiento, esto podría ser más barato, esta no es solo una opción para las compañías de Fortune 500.

Y también podemos hablar sobre la descarga de datos que no necesitamos aquí y ahora, como (ejemplo aleatorio) años de datos financieros históricos para proveedores de "nube" que primero ciframos. Esto eliminará las necesidades de almacenamiento de nuestro propio almacenamiento que nos liberará financiera o funcionalmente.

En función de quién es usted, dónde se encuentra y qué hace, sus diferentes soluciones serían el mejor trabajo para usted.