¿Cuál es el rendimiento de transferencia de datos teórico máximo de NTFS?

28

Recientemente estuve en una reunión de un grupo de usuarios local donde el presentador señaló que el rendimiento máximo de la pila NTFS IO era de 1 GBps. Él confirmó su reclamo copiando simultáneamente dos archivos grandes del mismo volumen lógico a diferentes volúmenes lógicos (es decir, [a] es el origen, [b] es el destino 1 y [c] es el destino 2) y señaló las tasas de transferencia que rondan los 500 MBps Repitió esta prueba varias veces y observó que el subsistema de almacenamiento subyacente era flash (para asegurarse de que no sospecháramos un almacenamiento lento).

He estado tratando de verificar esta afirmación pero no puedo encontrar nada documentado. Sospecho que estoy buscando los términos de búsqueda incorrectos ("rendimiento NTFS de 1 GBps", "rendimiento máximo NTFS"). Estoy interesado en saber si la pila IO está realmente limitada a un rendimiento de 1GBps.

EDITAR

Para aclarar: no creo que el presentador pretendiera implicar que NTFS se limitó intencionalmente (y lo siento si también lo implicaba). Creo que estaba implícito que era una función del diseño del sistema de archivos.

swasheck
fuente
1 GB / s es bastante rápido incluso para unidades flash
TheFiddlerWins
2
@TheFiddlerWins 1 GB / s! = 1 Gbps
Kermit
1
Estoy de acuerdo, pero su pregunta dice "... el rendimiento máximo de la pila NTFS IO fue de 1 GBps", por lo que sé B = bytes y b = bits
TheFiddlerWins
1
Experimento simple: ¿copiar el archivo en los discos RAM? No es difícil obtener 16 * 2 = 32 GB de RAM en estos días.
kizzx2
1
JamesRyan: el uso de FTP como mecanismo de transferencia no cambia repentinamente el sistema de archivos. No confunda SMB con NTFS.
mfinni

Respuestas:

36

Incluso suponiendo que quisieras decir GBpsy no Gbps...

No conozco ningún sistema de archivos que tenga un archivo real throughput limit. Los sistemas de archivos son simplemente estructuras en torno a cómo almacenar y recuperar archivos. Utilizan metadatos, estructura, convenciones de nomenclatura, convenciones de seguridad, etc., pero las limitaciones reales de rendimiento están definidas por el hardware subyacente en sí (generalmente, una combinación de gran cantidad de hardware involucrado).

Se puede comparar diferentes sistemas de archivos y cómo afectan el rendimiento del hardware subyacente, pero una vez más, eso no es una limitación impuesta directamente por el sistema de archivos, sino más bien una "variable" en el rendimiento general del sistema.

La elección de implementar un sistema de archivos sobre otro generalmente se relaciona con el sistema operativo subyacente, el servidor / la aplicación, el hardware subyacente y los factores blandos , como las áreas de experiencia y familiaridad del administrador.

================================================== ================================

RECURSOS TÉCNICOS Y CITAS


Optimizando NTFS

Factores de rendimiento de NTFS

Usted determina muchos de los factores que afectan el rendimiento de los volúmenes NTFS. Elija elementos importantes, como el tipo de volumen NTFS (por ejemplo, SCSI o IDE), la velocidad (por ejemplo, la velocidad de rpm de los discos) y la cantidad de discos que contiene el volumen. Además de estos componentes importantes, los siguientes factores influyen significativamente en el rendimiento de un volumen NTFS:

  • El tamaño del clúster y la unidad de asignación
  • La ubicación y el nivel de fragmentación de los archivos a los que se accede con frecuencia, como la tabla maestra de archivos (MFT), los directorios, los archivos especiales que contienen metadatos NTFS, el archivo de paginación y los archivos de datos de usuario de uso común
  • Si crea el volumen NTFS desde cero o lo convierte desde un volumen FAT existente
  • Si el volumen usa compresión NTFS
  • Si deshabilita comportamientos innecesarios de NTFS

Usar discos más rápidos y más unidades en volúmenes multidisco es una forma obvia de mejorar el rendimiento. Los otros métodos de mejora del rendimiento son más oscuros y se relacionan con los detalles de la configuración de un volumen NTFS.


Escalabilidad y rendimiento en sistemas de archivos modernos

Desafortunadamente, es imposible hacer comparaciones directas de rendimiento de los sistemas de archivos en discusión ya que no todos están disponibles en la misma plataforma. Además, dado que los datos disponibles son necesariamente de diferentes plataformas de hardware, es difícil distinguir las características de rendimiento del sistema de archivos de las de la plataforma de hardware en la que se está ejecutando.


NTFS Optimization

Nuevo documento técnico que proporciona orientación para dimensionar volúmenes NTFS

¿Qué hay de nuevo en NTFS?

Configurar el sistema de archivos NTFS para el rendimiento

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Mejores prácticas para la compresión NTFS en Windows

El limpiador
fuente
9
Aún así, podría dar un simposio con solo 802.11g conectados en todos los dispositivos y jurar que el límite de rendimiento de NTFS fue <54Mbps demostrando una y otra vez una copia entre los dispositivos.
TheCleaner
1
Podría ser, pero decir "NTFS tiene un límite estricto" frente a "NTFS es más lento que ext4 en <x> hardware" es una gran diferencia. Puede haber hablado mal, puede haber malinterpretado, independientemente ... ahí lo tienes.
TheCleaner
77
Nuevamente, NTFS el sistema de archivos no tendrá ninguna limitación, pero un determinado controlador NTFS sí.
mfinni
1
No piense en ello como un límite sino una sobrecarga lógica. Eso también incluye el controlador ya que un límite "establecido" tendría que ser un valor de definición definido en el código del controlador. Sin embargo, entiendo que pensó que el proceso <- (@mfinni) ... los límites duros se definen en el rendimiento en la capacidad del disco para procesar IO de lectura / escritura y también las limitaciones técnicas del medio de transporte.
AngryWombat
1
Nice agrega, @TheCleaner
mfinni
10

Dudo mucho que haya un cuello de botella de transferencia de datos relacionado con un sistema de archivos , porque los sistemas de archivos no dictan detalles de implementación que limitarían el rendimiento . Un controlador dado para un sistema de archivos en una configuración particular de hardware tendrá cuellos de botella, por supuesto.

mfinni
fuente
No pensé que fuera intencionalmente limitado, pero pensé que, tal vez, era una limitación del diseño
swasheck
Gracias por el enfoque hacia abajo de "sistema de archivos" a "controlador".
swasheck
55
No puede aumentar la velocidad de un libro, puede aumentar la velocidad del lector y las cosas de las que depende el lector.
mfinni
Los límites y los cuellos de botella son dos cosas diferentes ... ya que un Sistema de archivos puede causar sobrecarga, teóricamente es posible crear un cuello de botella, pero no definirá un límite establecido que creo que fue la intención en esta publicación.
AngryWombat
7

Me sorprendería mucho si esto fuera cierto. Veamos todo lo que puede ralentizar un sistema de archivos:

  • Los medios físicos (disco, ssd)
  • Conexión a este medio (sas, sata, fcal)
  • Fragmentación
  • Algoritmos de bloqueo incorrectos u otros problemas de código
  • CPU y velocidad de memoria

El factor limitante más común es su medio físico. El óxido giratorio es LENTO . Tomemos por ejemplo este disco realmente nuevo que tiene una velocidad máxima de 6 Gbps (¡eso es Gbps, no GBps!). Por supuesto, usar una configuración de incursión 1 lo acelerará. Por supuesto, nunca lograrás esto, ya que las búsquedas matan tu rendimiento. Entonces, ¿usamos un SSD que dices? Oh mira eso, 6Gb de nuevo.

Luego está la conexión: sas (el almacenamiento local más rápido) sube a 6 Gbps, sin embargo, FC sube a 16 Gbps.

¿Estás seguro de que tu demo usaba hardware tan avanzado y avanzado?

¡Si estás interesado! Es posible que tenga el caso 3 y su sistema de archivos necesita algo de optimización. O lo más probable es que sus controladores y aplicaciones estén consumiendo su CPU (5). Sin embargo, si ninguno de ellos es así, es posible que haya encontrado un problema de rendimiento real en NTFS, infórmelo a Microsoft.

E incluso entonces: este no es un límite artificial, establecido para hacer tu vida más miserable. Los sistemas de archivos no limitan intencionalmente las velocidades de transferencia, sino que están limitados por lo que su hardware pueda brindarle.

Dennis Kaarsemaker
fuente
7

No creo que haya un máximo. Pero sé que es más de 1 GB / s porque la gente de Samsung leyó 2121.29 MB / s y 2000.195 MB / s escribió con su equipo 2009 con 24 unidades SSD http://www.youtube.com/watch?v=96dWOEa4Djs

Piensan que alcanzaron ese límite porque este fue el ancho de banda de hardware total combinado de las tarjetas controladoras a las que se conectaron los SSD.

También esta página http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk muestra un disco RAM formateado con NTFS de 5 a 7 GB / s. Pruébelo usted mismo con uno de los títulos de RAMdisk enumerados en http://en.wikipedia.org/wiki/List_of_RAM_drive_software

BeowulfNode42
fuente
3

La única forma lógica de comparar los límites del sistema de archivos sería hacerlo en los sistemas donde la constante era el sistema de archivos y las variables eran los otros factores, como dispositivos, conexiones, etc. El uso de un sistema para comparar velocidades de transferencia en varias iteraciones demuestra solo que el sistema particular era limitado, no es que el sistema de archivos fuera limitado.

Richard_G
fuente
1

No hay límite de rendimiento incorporado en NTFS. La única limitación en la velocidad son las características de rendimiento del hardware subyacente.

cuello largo
fuente
No pensé que fuera intencionalmente limitado, pero pensé que, tal vez, era una limitación del diseño.
swasheck
66
@swasheck No creo que sea posible diseñar un sistema de archivos que no transfiera datos dos veces más rápido si tiene un procesador dos veces más rápido y puede leer el disco dos veces más rápido y puede buscar el doble de rápido. Incluso el diseño más ineficiente posible puede hacerse más rápido haciendo que todo lo que usa sea más rápido.
Random832