Cómo construir una red de área local rápida

35

Trabajo en la producción de películas y necesito un acceso MUY rápido a archivos de imágenes en bruto muy grandes. Actualmente estoy usando muelles eSATA de 6 Gbps para discos duros internos, que van tan rápido como la unidad.

Si tuviera que usar un servidor y conectarme a mis estaciones de trabajo a través de la red, ¿qué tecnología (relativamente asequible) me permitiría acercarme o superar la velocidad de la unidad?

Ben
fuente
12
Ethernet de 10 Gbps está en el rango de "asequible si tiene presupuesto" en estos días. Sin embargo, ¿8 o 16 Gbps SAN (red de área de almacenamiento - también conocido como canal de fibra) podría ser más adecuado para el uso particular?
Ecnerwal
3
Está específicamente diseñado / optimizado para redes de almacenamiento.
Ecnerwal
3
Solo quiero verificar: ¿estás usando SSD? Si no, esa es una actualización esencial.
trpt4him
1
No veo ningún valor agregado de una SAN en comparación con un NAS más simple y más barato aquí.
jiggunjer
3
Para responder adecuadamente a esto, se necesita más información: ¿qué cantidad de datos debe almacenarse, cuántos usuarios concurrentes, desde dónde se accede a los datos (qué tipo de máquina)? Una red de 100 Gbs no ayudará si se accede desde una máquina de 2 o 3 con un adaptador de red de 1 Gbs.
JFL

Respuestas:

31

A principios de 2017, a juzgar por la información disponible en línea, parece que los discos duros SATA más rápidos alcanzan un máximo de alrededor de 220 MegaBytes / seg, que es 1.760 Gigabits / seg.

Entonces, si solo está tratando de superar la velocidad de una sola unidad, y está limitado a HDD por consideraciones de costo por terabyte para archivos de video enormes, entonces 10 Gigabit Ethernet es suficiente.


Además, tenga en cuenta que Thunderbolt Networking también es de 10 Gigabit / seg, por lo que si ya tiene puertos Thunderbolt, puede experimentar con eso. Posiblemente podría superar sus puertos eSATA 3 de 6 Gigabits, aunque no estoy seguro de eso porque eSATA es muy específico de almacenamiento, mientras que el almacenamiento a través de Ethernet tiene más sobrecarga. También tenga en cuenta que Thunderbolt es un bus de escritorio; solo alcanza unos pocos metros, no los 100 m que 10 Gigabit Ethernet pueden manejar. Entonces, aunque Thunderbolt puede ser interesante para experimentar y crear prototipos mientras evalúa sus opciones, probablemente no sea la solución adecuada a largo plazo para usted, a menos que desee mantener todas sus estaciones de trabajo y discos conectados consecutivamente alrededor de una mesa grande.


Eso fue para discos duros individuales. Pero si RAID esas unidades juntas para que cada lectura o escritura se distribuya entre varias unidades, puede obtener un rendimiento mucho mejor que el rendimiento de una sola unidad. Además, según su presupuesto, puede colocar SSD PCIe / M.2 NVME en una PC para que actúe como servidor / NAS, y puede obtener un rendimiento de almacenamiento increíblemente rápido (alrededor de 3,4 GigaByte / seg == 27 gigabit / seg) por manejar.

En ese caso, es posible que desee ver algo más rápido que 10 Gigabit Ethernet, pero mirando en línea, parece que los precios saltan dramáticamente más allá de 10 Gigabit Ethernet. Por lo tanto, es posible que desee ver la agregación de enlaces en múltiples enlaces de 10 Gigabit. También he visto algunas anécdotas en línea que utilizan equipos de red, como las cosas usadas de 40 Gbps InfiniBand, que se pueden comprar en eBay a un precio muy bajo, si no le importan las molestias que conlleva comprar equipos usados ​​en eBay.

Spiff
fuente
1
¿Qué pasa con las múltiples NIC de 10 Gbit + enlace?
André Borie
2
la unión permite tener flujos separados usando diferentes enlaces físicos, pero un solo flujo usará solo una NIC. Por lo tanto, esto será útil cuando se sirvan varios archivos a diferentes personas al mismo tiempo, pero no aumentará el ancho de banda para un solo acceso a archivos.
JFL
44
@JohnU No, Ethernet es 94% eficiente con marcos estándar de 1500 bytes, e incluso mejor con marcos jumbo. Rutinariamente veo un rendimiento de más de 930 Mbps sin siquiera intentarlo. Gigabit Ethernet no permite concentradores, solo conmutadores, por lo que siempre es dúplex completo y, por lo tanto, nunca tiene colisiones.
Spiff
1
El enlace de Ethernet @JFL (agregación de enlace IEEE 802.3ad) distribuye la carga paquete por paquete, no por flujo. Debido a que las tecnologías de red generalmente están diseñadas en capas discretas, Ethernet (capa 2, la capa de enlace de datos) no tiene idea de los protocolos anteriores, como IP o TCP, por lo que no tiene idea de los flujos.
Spiff
2
La agregación de Linux @JFL ciertamente puede usar información de capa3 + (Linux puede hacer muchas cosas inusuales), recuerde que realmente necesita ambas partes para que el mismo método de enlace sea útil. Si se está conectando a un conmutador, realmente puede usar lo que el conmutador admite.
Zoredache
5

Si se adhiere a los discos SATA, la implementación de Ethernet de 10 Gb y la construcción de un RAID10 de tamaño razonable en el servidor le proporcionará un aumento notable del rendimiento más allá de un solo disco SATA. Esta será una inversión digna porque puede compartir el servidor entre tantas estaciones de trabajo como necesite y agregar en el futuro agregando conmutadores. Tendrá que ejecutar el cable Ethernet Cat-6, ya que Cat-5E no lo cortará; no olvide agregar este gasto a sus cálculos. También puede agregar SSD como caché para acelerar aún más el sistema; Dado que está trabajando con imágenes de video, supongo que necesita grandes cantidades de espacio de almacenamiento, lo que sería extremadamente costoso de construir solo con SSD.

Puede comprar un servidor de montaje en rack prefabricado de Dell o HP y utilizar la tarjeta RAID de hardware, o si es más una persona de hardware, puede comprar un chasis más barato de Supermicro y construir la máquina de almacenamiento usted mismo, utilizando el software RAID en ya sea Windows o Linux. El RAID de hardware a menudo es más rápido cuando se trata de un RAID1, ya que el software debe escribir en cada disco y esperar a que se complete la escritura antes de pasar a la siguiente operación; una tarjeta RAID generalmente puede escribir en ambos discos en paralelo y almacenar en caché la operación de escritura, devolviendo el control al sistema operativo de inmediato. Sin embargo, tenga en cuenta que, aunque un RAID0 sería aún más rápido, no tiene redundancia y una sola falla en la unidad causará la pérdida completa de datos; nunca use un RAID0 cuando tenga datos que desee conservar.

En el extremo superior de la escala, tiene redes de área de almacenamiento (SAN), pero están diseñadas para permitir muchas operaciones de un gran número de clientes separados en paralelo; Una ventaja de esto es que el rendimiento es muy alto para una pequeña cantidad de máquinas conectadas, pero es probable que sea excesivo para sus necesidades y muy costoso. En el extremo inferior, tiene dispositivos de almacenamiento conectado a la red (NAS) que otros han mencionado, pero aunque es mucho más simple que un servidor completo, no los recomiendo ya que un NAS es con frecuencia una caja negra; están diseñados para ser plug & play para la mayoría de los usuarios y, como resultado, usted tiene poco control sobre el sistema operativo: solo tuve que devolver un pequeño NAS que compré para la oficina de un cliente, ya que se volvió inestable después de un día de uso.

Otra ventaja de construir un servidor es que está concentrando todo su metraje en un solo lugar, lo que hace que sea práctico y relativamente fácil hacer copias de seguridad de forma regular. Nunca descuides tu estrategia de respaldo; ¡algún día tendrás que depender de ello!

Gargravarr
fuente
3
"el software debe escribir en cada disco a la vez y esperar a que se complete la escritura antes de pasar a la siguiente operación". Eso no ha sido cierto durante varias décadas; Incluso los discos que no son servidores hoy en día admiten la cola de comandos. Y estrictamente hablando, con el software DMA tampoco fue necesario esperar. Eso ha sido compatible con equipos de escritorio desde 1998 más o menos.
MSalters
Probablemente valga la pena señalar que, si bien su primera oración es verdadera para un solo usuario, el ancho de banda compartido de 10 Gb significa que con varios usuarios que intentan acceder al recurso compartido simultáneamente, el ancho de banda que cada uno de ellos finalmente caerá por debajo de los niveles SATA de un solo usuario.
Dan Neely
2
un NAS no es un dispositivo especial por definición, puede tener una PC Linux normal con samba o NFS y llamarlo NAS. La diferencia clave es el uso compartido de nivel de archivo frente al uso compartido de nivel de bloque. Un dispositivo de bloque solo puede ser utilizado por un cliente a la vez. Además, las SAN son más caras y requieren más tiempo / más conocimiento para configurar.
jiggunjer
@jiggunjer Muy cierto, pero la mayoría de los que construirían una PC con Samba lo llamarían un servidor de archivos, no un NAS. Solo estoy jugando con el tecnicismo que significa el dispositivo de propósito especial. También es muy cierto acerca de las SAN, razón por la cual las clasifiqué como excesivas.
Gargravarr
@DanNeely sí, a medida que se agreguen más clientes con acceso simultáneo, la velocidad de cada estación de trabajo disminuirá, pero la tasa total de datos que salen del servidor debería seguir siendo muy alta. El aumento con caché SSD podría compensar la mayor parte de esto.
Gargravarr
3

Nada supera la flexibilidad y la facilidad de configuración de 10gbe, pero SAS es sorprendentemente conectable en red por sí solo:

Para un pequeño número de estaciones de trabajo (n <8) donde los volúmenes no necesitan ser escribibles desde múltiples computadoras a la vez, SAS funciona muy bien. Con un Tyan JBOD ($ 1,500) y un LSI HBA ($ 400), obtenemos transferencias sostenidas de 3,400 MB / s (27 Gbps) a SSD. El JBOD tiene un conmutador interno con 3 enlaces ascendentes a los HBA, pero los conmutadores SAS están disponibles para conteos de puertos más altos.

Aquí hay una prueba de velocidad de uno de nuestros volúmenes:

CDM5 que muestra 2.862 MB / s de lectura secuencial con 32 iops en la cola.  Lectura aleatoria simple de 4k 29MB / s

Internamente, utilizamos esta solución con Windows Server en clúster que ejecuta espacios de almacenamiento que se distribuyen a clientes con 10 gbe.

Servidores Windows agrupados

Mitch
fuente
2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Producto

Primero, el SSD M.2 que da la placa base correcta puede alcanzar 2gb-4gb / s, y posiblemente más. RAID algunos de estos juntos, y sus velocidades son aún más altas.

La combinación de múltiples NIC de 10 gb podría acercarlo a las velocidades nativas.

Algo más de 10 g es mucho más dinero.

NIC de 40 gigabits https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRbp__pq_pq8

cybernard
fuente
Es probable que ir por encima de 10 gb también ponga las velocidades del bus local en la escena como un factor limitante :) Una ranura PCI-express 2.0 x16 es, en teoría, 64 GBit / s, pero sobrecarga en todos los lados (bus a la memoria, software del controlador a la memoria, carga de la CPU ...) lo roerá bastante cerca de donde puede alegrarse si su 10GBe funciona a velocidad de línea ...
rackandboneman
2
@rackandboneman: Por eso tienes NIC inteligentes. La Ethernet de 10 Gb / s es velocidad bruta. Los encabezados Ethernet, IP y TCP pueden ser manejados por la NIC, dejando que la CPU maneje solo los datos reales.
MSalters
SI estos mecanismos de descarga funcionan en combinación con el escenario de su aplicación, y si bien reducen el uso de la CPU, no reducirán el volumen de datos de manera significativa a menos que una gran parte de ese tráfico sea basura en primer lugar ...
rackandboneman
@rackandboneman PCIe 3.0 x16 existe, por lo que las velocidades pueden duplicar eso.
cybernard
10 gbe puede ser mucho más barato que eso: Mellanox nic por $ 180 y 25 gbe se acerca Mellanox 25 gbe por $ 300 . Lo que te mata es el costo del puerto en los conmutadores, pero eBay o una malla completa hacen que ese problema desaparezca.
Mitch
0

Utilice una tarjeta ethernet de fibra con un interruptor de fibra, idealmente multimodo o modo único con almohadillas. Si tiene el presupuesto, puede hacer que todo sea de 10 gbps, si usa la agregación de enlaces con una tarjeta de fibra de doble puerto puede obtener 20 gbps. Dado que el término "relativamente asequible" cambia según cuál sea su presupuesto, serían útiles los números reales de lo que está dispuesto a gastar.

Soleado
fuente
0

La forma más económica sería utilizar la agregación de enlaces (IE ejecuta N cables, normalmente 2) en lugar de uno.

De esta manera, un enlace barato de 1 Gb se convertirá en un enlace de 2 Gb.

Obviamente, significa que necesita al menos 4 puertos para un solo servidor cliente.

Antzi
fuente
y el cliente necesita 2 puertos ... ¿Funcionan los conmutadores simples con esto? o debería ser un enlace directo?
jiggunjer
Se puede usar el interruptor simple @jiggunjer para eso, pero necesita una configuración especial en todas las computadoras / servidores que usan este esquema
Antzi
¿Es esta agregación lo mismo que la vinculación mencionada en los comentarios de la respuesta de @Spiff? En cuyo caso no se aumenta el ancho de banda para el acceso a un solo archivo ...
jiggunjer
@jiggunjer Esto realmente se reduce a cómo se hace la configuración, por lo que realmente no puedo responder.
Antzi
1
@FlorianCastellane más barato que compré no fue. Depende de las especificaciones
Antzi