¿Por qué es tan costoso Enterprise Storage?

Esta es una pregunta canónica sobre el costo del almacenamiento empresarial.
Ver también la siguiente pregunta:

• ¿Cuál es la mejor manera de explicar los problemas de almacenamiento a los desarrolladores y otros usuarios?

En cuanto a preguntas generales como:

• ¿Por qué tengo que pagar 50 dólares al mes por gigabyte adicional de almacenamiento?
• Nuestro servidor de archivos siempre se está quedando sin espacio, ¿por qué nuestro administrador de sistemas simplemente no arroja una unidad adicional de 1TB allí?
• ¿Por qué es tan caro el equipo SAN?

Las respuestas aquí intentarán proporcionar una mejor comprensión de cómo funciona el almacenamiento a nivel empresarial y qué influye en el precio. Si puede ampliar la pregunta o proporcionar información sobre la respuesta, publique.

1. Las capacidades del disco duro del servidor son minúsculas en comparación con las capacidades del disco duro de escritorio. 450 y 600 GB no son tamaños poco comunes para ver en servidores nuevos, y puede comprar muchas unidades de escritorio SATA de 4 TB por el precio de un disco duro SAS (servidor) de 600 GB.

2. Su disco duro SATA en su PC de escritorio en el hogar es como un muscle car de Ford, GM o Mercedes o cualquier otro fabricante de automóviles para personas de todos los días (V8 o V12 de gran capacidad, 5 o 6 litros). Debido a que necesitan ser conducidos por personas que no tienen una licencia de carrera, o que entienden cómo funciona un motor de combustión interna, tienen tolerancias muy grandes. Tienen limitadores de revoluciones, están diseñados para funcionar con cualquier aceite de una cierta clasificación, tienen intervalos de servicio de 10.000 km de distancia, pero si se pierde un intervalo de servicio por unas pocas semanas, no explotará en su cara. No se incendian cuando conduces largas distancias.

   El disco SAS en un servidor es más parecido a un motor de Fórmula 1. Son realmente pequeños (2.4 litros) pero tienen una potencia de salida inmensa debido a sus pequeñas tolerancias. Aceleran más y, a menudo, no tienen limitador de revoluciones (lo que significa que sufren daños graves si se conducen incorrectamente), y si se salta un intervalo de servicio (que es cada pocas horas ) explotan.

   Básicamente estás comparando tiza y queso. Los números y un desglose completo se discuten en el Whitepaper Intel de clase empresarial frente a los discos duros de clase de escritorio

3. Hablemos algunos números difíciles aquí. Supongamos que solicita 1 MB de datos adicionales (un buen número redondo). ¿Cuántos datos son realmente ? Bueno, tu 1 MB de datos irá a una matriz RAID. Digamos que están siendo seguros y están convirtiendo eso en RAID1. Su 1 MB de datos se refleja, por lo que en realidad son 2 MB de datos.

   Digamos que sus datos están dentro de una SAN. En caso de una falla del nodo SAN, sus datos se sincronizan a nivel de byte con un segundo nodo SAN. Por lo tanto, está duplicado y sus 2 MB de datos ahora son 4 MB.

   ¿Espera que su proveedor mantenga copias de seguridad en el sitio, de modo que sus datos se puedan restaurar en caso de una emergencia que no sea un desastre? Cualquier proveedor decente le proporcionará al menos 1 copia de seguridad en el sitio, tal vez más. Digamos que toman instantáneas una vez por semana durante tres semanas en el sitio. Eso es un extra de 3 MB de datos, por lo que ahora tiene hasta 7 MB.

   Si hay un desastre crítico, es mejor que su proveedor tenga una copia fuera del sitio en algún lugar. Incluso si tiene un mes de antigüedad, debería existir. Así que ahora tienes hasta 8 MB.

   Si se trata de un proveedor de alto nivel, incluso pueden tener un sitio de recuperación ante desastres que esté sincronizado en vivo. Estos discos también serán RAID, por lo que son 2 MB adicionales y, por lo tanto, tienes hasta 10 MB de datos.

   Tendrás que transferir esos datos eventualmente. ¿Qué? Transferirlo? Sí, la transferencia de datos cuesta dinero. Cuesta dinero cuando lo descarga, accede a través de Internet, incluso cuesta dinero hacer una copia de seguridad (alguien tiene que sacar esas cintas de la oficina, y podría ser que su 1 MB de datos significa que tienen que comprar un extra conjunto de cintas y transferirlas a algún lugar).

4. Cuando su unidad doméstica SATA falla, puede llamar al soporte técnico y convencerlos de que su unidad está muerta. Luego envíe su unidad al fabricante (en su propio centavo la mayoría de las veces). Espera una semana Obtenga una unidad de reemplazo y tenga que reinstalarla (es casi seguro que no es intercambiable en caliente o ya está en un sled de unidad).

   Cuando ese disco SAS falla, llama al soporte técnico. Casi nunca cuestionan su opinión de que la unidad necesita un reemplazo inmediato y envían una nueva unidad; por lo general, la nueva unidad se entrega más tarde ese mismo día, de lo contrario, el día siguiente también es muy común. Por lo general, el fabricante enviará un representante para que realmente instale la unidad si no sabe cómo (muy útil si planea tomarse unas vacaciones y necesita que las cosas sigan funcionando mientras está fuera).

5. Las unidades empresariales tienen tolerancias estrictas, consulte el n. ° 2 anterior, y tienden a durar aproximadamente 10 veces más que las unidades de grado de consumo (MTBF). Las unidades empresariales casi siempre admiten la detección avanzada de errores y fallas, que según un informe de Google funciona aproximadamente el 40% del tiempo, pero eso es algo que cualquiera preferiría que una computadora muera repentinamente.

   Cuando tiene una sola unidad en la computadora de su hogar, sus posibilidades estadísticas de falla son simplemente las de la unidad. Las unidades solían clasificarse en MTBF (donde las unidades SAS aún disfrutan de clasificaciones de ~ 50% más altas o más), ahora es más común ver tasas de error. Una unidad SAS típica tiene entre 10 y 1,000 veces menos probabilidades de tener un error irrecuperable (100 veces el más común que encontré recientemente). (tasas de error de acuerdo con la documentación del fabricante suministrada por Seagate, Western Digital e Hitachi; sin prejuicios; expresamente renuncia a la indemnización).

   Las tasas de error son particularmente importantes no cuando se encuentra con un error irrecuperable en una unidad, sino cuando falla otra unidad en la misma matriz y no confía en que todas las unidades en una matriz sean legibles para recuperar el disco fallado.

6. SAS es un derivado de SCSI, que es un protocolo de almacenamiento. SATA se basa en ATA, que se basa en el bus ISA (ese bus de 8/16 bits en computadoras de la era de los dinosaurios). El protocolo de almacenamiento SCSI tiene comandos más extensos para optimizar la forma en que los datos se transfieren de las unidades a los controladores y viceversa. Este aumento en la eficiencia haría que una unidad SAS de otra manera igual sea inherentemente más rápida, especialmente bajo cargas de trabajo extremas, que una unidad SATA; También aumenta el costo.

7. Hay menos unidades SAS producidas, las economías de escala dictan que serán más caras y todo lo demás será igual.

8. Las unidades SAS generalmente vienen en velocidades de rotación de 10k o 15k; mientras que SATA generalmente viene en 5.4k o 7.2k. Las unidades SAS, particularmente el tamaño de 2.5 "que se están volviendo cada vez más populares, tienen tiempos de búsqueda más rápidos. Las dos combinadas aumentan drásticamente las IOps que puede realizar una unidad, por lo general, una unidad SAS es ~ 3 veces más rápida. Cuando varios usuarios exigen datos dispares, las IOps La capacidad de la unidad / matriz se convierte en un indicador crítico de rendimiento.

9. Las unidades en un centro de datos suelen estar encendidas todo el tiempo. Los estudios han encontrado que la falla de la unidad está influenciada por la cantidad de ciclos de calentamiento / enfriamiento que atraviesa (de funcionamiento vs apagado). Mantenerlos funcionando todo el tiempo generalmente aumenta la vida útil del disco. La consecuencia de esto es que los discos consumen electricidad. Esta electricidad tiene que ser suministrada por algo (en el caso de una CC grande, las unidades por sí solas pueden necesitar más energía que un pequeño vecindario de casas). También necesitan disipar ese calor en algún lugar, lo que requiere sistemas de enfriamiento (que a su vez requieren más potencia para funcionar).

10. Infraestructura y costos de personal. Esas unidades están en unidades NAS o SAN de gama alta. Esas unidades son caras, incluso sin las unidades costosas en ellas. Requieren personal costoso para desplegarlos y mantenerlos. Los edificios en los que se encuentran esas unidades NAS y SAN son caros de operar (vea el punto sobre enfriamiento, más arriba, pero hay mucho más allí). El software de respaldo generalmente no es gratuito (ni las licencias para cosas como la duplicación) , y el personal para implementar y mantener copias de seguridad también suele ser costoso. El costo de alquilar la entrega y el almacenamiento de cintas fuera del sitio es solo una de las muchas cosas que comienzan a acumularse cuando necesita más almacenamiento.

Teniendo en cuenta que la capacidad de sus unidades puede ser 1/10 del tamaño de una unidad de escritorio, y cinco veces el precio, su 1 MB de datos es en realidad 10, y todas las demás diferencias, no hay forma de que pueda extraer algo significativo conclusiones entre el precio de su almacenamiento de escritorio y el precio del almacenamiento de nivel empresarial.

No estoy agregando esto a la respuesta CW principal principalmente porque es una diferencia de opinión. Siéntase libre de fusionar / editar esto si lo desea.

Con frecuencia, la razón por la cual el almacenamiento de "nivel empresarial" es tan costoso podría ser que el autor de la pregunta no comprende el requisito, pero a veces también el administrador del sistema no comprende el requisito, no puede comunicar el requisito a alguien con autoridad de compra o simplemente está obteniendo ignorado por dicha autoridad.

Las matrices de almacenamiento estándar de alto rendimiento, alta disponibilidad y bajo mantenimiento son caras . Parte del trabajo de un diseñador de sistemas es saber dónde son apropiados y dónde es apropiado un diseño diferente.

No creo que los costos relativos de los diferentes tipos de unidades de disco sean realmente relevantes para ninguna de las preguntas de ejemplo.

¿Por qué tengo que pagar 50 dólares al mes por gigabyte adicional de almacenamiento?

Esto está claramente dirigido a un proveedor de servicios de algún tipo. Las dos posibles respuestas a mi mente son:

1. Tiene 5 nueves de tiempo de actividad, soporte 24/7, en Manhattan / Londres / Hong Kong. Los platos rotativos son solo una pequeña parte de la pila por la que estás pagando.

2. Estás pagando demasiado. Negocie, cambie de proveedor o tráigalo en casa.

Nuestro servidor de archivos siempre se está quedando sin espacio, ¿por qué nuestro administrador de sistemas simplemente no arroja una unidad adicional de 1TB allí?

Es casi seguro que es un mal diseño (y probablemente por razones políticas). Los datos en ese servidor de archivos se encuentran en algún lugar de este espectro:

• Vale la pena almacenar los datos en una configuración de alto rendimiento, alta disponibilidad y alto costo. El tiempo de inactividad causado por la falta de espacio afecta su alta disponibilidad y es una falla de diseño o planificación.

• Los datos no son importantes o el rendimiento lento o el tiempo de inactividad más largo son aceptables. Discos baratos y soluciones de respaldo baratas son aceptables. El tiempo de inactividad regular debido a la falta de espacio en disco todavía parece una compensación extraña, ya que la mayor parte de su costo en este caso probablemente será su tiempo de administrador de sistemas y, a la larga, pasarán más tiempo resolviendo problemas de disco bajo espacio.

Tenga en cuenta que dije que este es un espectro, y que la mayoría de los requisitos se encuentran entre los dos.

El costo de producir cualquier artículo está directamente relacionado con el volumen de unidades que venderá en un ciclo de retroalimentación.

En el caso de un disco duro convencional, con vidrio giratorio oxidado y componentes electrónicos, existe una gran variación en el costo de los componentes mecánicos y electrónicos, sin embargo, han surgido 2 bandas claras de precio / calidad: Enterprise y Commodity.

Sin embargo, el volumen reducido de ventas de una unidad empresarial tiene un alto costo en lo que obtienes por tu dinero, algo que cuesta siete veces más no será siete veces mejor.

Las unidades empresariales (para una capacidad dada) son ligeramente más rápidas que las unidades básicas, por ejemplo, comparando las unidades Seagate Barracuda SATA (mercancía) y Cheetah SAS (empresa):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Pero en un contexto empresarial, ningún administrador de sistemas sensato podría almacenar datos importantes en una sola unidad: el uso de varias unidades proporciona mayor confiabilidad y ancho de banda, y reduce efectivamente la latencia; cuatro de las unidades Barracuda configuradas como RAID10 serán mucho más rápidas que la unidad única Cheetah, con mucho menos riesgo de pérdida de datos en alrededor del 60% del precio.

Ciertamente, obtendrá una mejor garantía con la unidad Enterprise, y el proveedor generalmente podrá obtenerla el mismo día, pero probablemente podrá obtener una unidad de productos básicos de un proveedor local más rápido que su proveedor. enviar por correo el disco de reemplazo. Por otro lado, es más probable que el disco empresarial sea un reemplazo exacto de la unidad fallida.

¿Entonces tal vez obtienes mucha más confiabilidad de las unidades empresariales? Si bien las personas que fabrican y venden las unidades a menudo dicen que este es el caso (Seagate es bastante tímido al respecto en su sitio web, pero incluso los números ofuscados que publican muestran que es menos de un factor de 2). Estudios independientes sugieren que no hay una diferencia significativa .

El conjunto de comandos SCSI tiene algunas ventajas técnicas sobre el conjunto de comandos ATA, particularmente en términos de permitir que el sistema operativo sepa exactamente lo que está comprometido con el disco; sin embargo, una vez más, esto solo hace una diferencia efectiva en cuanto al rendimiento y la confiabilidad de un sistema de archivos implementado en un solo disco.

Si su proveedor de servicios opera una SAN de canal de fibra, entonces el costo por Gigabyte de almacenamiento será al menos 8 veces mayor que comprar un disco en el estante de su ferretería más cercana. Pero hay otros enfoques que pueden reducir significativamente el costo.

Tenga en cuenta que esto nunca será más barato que comprar un disco estándar, ya que también está pagando por redundancia, energía, aire acondicionado y soporte, pero estos costos deben ser pequeños en relación con el costo de la provisión de almacenamiento.

Estoy de acuerdo con las otras publicaciones sobre la calidad de lo que ofrece una empresa de alojamiento. Pero recientemente volvimos a hacer nuestro contrato de alojamiento y compramos y nadie era competitivo en espacio de almacenamiento, ni los precios eran más bajos que nuestro contrato anterior de 3 años. Las unidades SAS han bajado de precio, los estantes de disco / matrices / SAN / FC / conmutadores han bajado, todo ha bajado de precio. ¿Pero no almacenamiento en disco?

Un colega con mucha más experiencia señaló las tácticas. ¡El precio de CPU, memoria, ancho de banda fue deslumbrante! ¡Registrate aquí! ¡Regístrese ahora e ignore ese problema de espacio en disco! No necesitará tanto espacio en disco. Mira la CPU y la memoria!

Una vez que se compromete con su contrato, realmente lo han atrapado y generan sus ingresos en el espacio en disco. Sí, es RAID-5 y alto rendimiento, etc. pero las copias de seguridad cuestan más, la replicación fuera del sitio cuesta más.

Para las empresas de hosting es un modelo de negocio. La mayoría de las empresas hacen algo similar con sus precios: reduzca este precio aquí pero aumente ese de allá para compensar sus ingresos en otro lugar. También tienen que pagar el alquiler y los salarios.

Para servidores internos tiene diferentes problemas. No puede simplemente entrar a una sala de servidores con la caja Fedex que tiene su nuevo disco duro de 3Tb. Si ha planeado la expansión, es más fácil, pero los servidores / bastidores / matrices ya pueden estar en su capacidad en términos de ranuras, E / S, tarjetas controladoras, alimentación.

Es como mirar debajo de una roca, te sorprenderá lo que puedas encontrar.

También es importante tener en cuenta que el almacenamiento 'local' bien podría costar más de lo que piensas de todos modos.

Como parte de un ejercicio para buscar mover algunos de nuestros datos 'archivados' a la nube, recientemente completé un ejercicio de fijación de precios que compara el costo del espacio en disco disponible (por ejemplo, formateado en lugar de en bruto) disponible en nuestra SAN más reciente contra el costo de almacenamiento en el servicio de datos en la nube de Amazon.

Solo considerando el precio pagado por la SAN en sí, incluidos los discos, suponiendo una vida útil de 5 años para el hardware de SAN, y no los costos 'generales' de ejecutar nuestra sala de servidores, nuestro precio por 150 Gb de almacenamiento local es de $ 31.88 por mes frente a los $ 28.41 de Amazon ( suponiendo una tasa de tráfico por mes de 20% hacia arriba y hacia abajo).

Ahora no voy a apresurarme y mover todo nuestro almacenamiento a la nube porque hay otros beneficios en tener almacenamiento local, pero creo que este tipo de ejercicio de fijación de precios es útil: si cree que el almacenamiento en la nube es costoso, entonces cuánto ¿ Realmente estás pagando por tu almacenamiento local?

Mi opinión sobre esta pregunta es simple IO ... un archivo que se encuentra en un disco duro único sin incursiones y probablemente sin intercambio en caliente, y normalmente es accedido por una persona y probablemente nunca respaldado. Este es un método barato y fácil de IO ...

En nuestro negocio, he usado uno de los métodos de incursión más caros (incursión 10) que requiere un mínimo de 4 unidades; utilizamos 6 ... esto nos da altas tasas de E / S y tolerancia a fallas.

Esta configuración me ha ahorrado un $$ a lo grande, y este resultado ha significado un mayor rendimiento y menos tiempo de inactividad para los usuarios finales ... para una E / S simple, solo hay una persona que decepcionar y es probable que haya poco valor financiero vinculado al tiempo de inactividad.

También tenemos un servidor iSCSI dedicado que se usa para la virtualización Xen y que también está configurado para la incursión 10 ...

Cuanto más IO se necesite para usar y hacer una copia de seguridad, más costoso será implementarlo ... si el requisito de su empresa aceptará la pérdida de datos, velocidades muy lentas y sin redundancia, entonces el almacenamiento de clase empresarial se puede hacer en el ¡¡¡barato!!! Solo prepárate para ser despedido ...