¿Soluciones de almacenamiento en niveles automáticas caseras con Linux? (Memoria -> SSD -> HDD -> almacenamiento remoto)

13

Relacionado con esta pregunta sobre el uso de un SSD para el sistema y HDD para datos , excepto que me gustaría que mi sistema lo haga automáticamente ...

¿Es posible tener varias capas de almacenamiento e insertar elementos automáticamente entre ellos, utilizando preferiblemente un software gratuito de código abierto?

Sé de soluciones de clase empresarial enormemente costosas como el archivado automático EMC SAN-> EMC Centera , pero me preguntaba si este tipo de almacenamiento por etapas es posible hacerlo automáticamente.

Sería bueno poder tener varias capas en esto: Memoria-> SSD-> HDD-> HDD o cinta más lenta o alguna otra solución de archivo.

¿Hay algún sistema de archivos que pueda hacer esto automáticamente? (ZFS, Btrfs, MARTILLO?)

Cualquier variante de Unix está bien, ya que estoy interesado en cómo funciona esto y si es probable que sea portátil para Linux u otros sabores (BSD, etc.).

linux unix ssd archive storage David Gardner
fuente

Respuestas:

14

Bueno, ZFS usa una capa de almacenamiento llamada Hybrid Storage Pool (HSP) :

  1. Capa: memoria
  2. Capa: cachés de lectura basados ​​en SSD (L2ARC) y cachés de escritura (registro de intención separado, también conocido como slog).
  3. Capa: discos duros (baratos)

Con HSP es fácil beneficiarse automáticamente de las ventajas de los SSD en comparación con una solución de solo disco duro. Un sistema que usa HSP puede ser más rápido y más barato que este último. Vea este enlace para algunos buenos ejemplos y más detalles.

Creo que hay planes con respecto a la gestión de almacenamiento jerárquico (HSM) para ZFS (ver, por ejemplo, el proyecto OpenSolaris de migración automática de datos (ADM) ) pero no sé su estado actual.

Knweiss
fuente
Esto es justo lo que estaba pensando, ¡gracias! (Ahora para ayudar en el puerto de Linux ...;)
David Gardner
No llamaría a esto nivelación sino almacenamiento en caché. En el sentido de que el almacenamiento en caché significa mantener una copia de los bloques que se usan con frecuencia, los niveles mueven los datos a un almacenamiento más lento / más rápido. No llamaría al registro de intención en ZFS un caché de escritura real si lo entiendo correctamente.
mrossi
5

TIER parece responder a sus necesidades Es un módulo de kernel de Linux que puede crear un almacenamiento en niveles. Parece aprender por sí mismo el patrón y optimizar la ubicación en el almacenamiento

http://www.lessfs.com/wordpress/?p=776

Dolanor
fuente
Acabo de ver que la pregunta es vieja ... Lo siento ^^ '
Dolanor
2
¡Revitalizar viejas preguntas es mejor que tener que pudrirse con información vieja y desactualizada sobre ellas!
David Gardner el
Me preocupa que este tipo quiera reducir la redundancia en aras de la capacidad adicional (especialmente cuando los SSD son relativamente pequeños y poco confiables).
Tobu
También le preocupa que sugiera una incursión como la solución, cuando el software experimental necesita más copias de seguridad.
Tobu
Sin embargo, aquí hay un poco más de comentarios positivos: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu
1

Respondiendo mi propia pregunta con algo que acabo de encontrar:

Estaba actualizando el kernel y mirando las cosas nuevas que se han agregado, y ahora hay una opción 'CACHEFILES' que permite almacenar en caché los sistemas de archivos (generalmente remotos) en un sistema de archivos local. Creo que podría usar esto para almacenar en caché un mecanismo de almacenamiento más lento (HDD) en uno más rápido (SSD), al menos para un nivel de jerarquía.

David Gardner
fuente
¿Intentaste esta solución? ¿Cómo funciona?
skolima
1
No importa: descubrí que CacheFS por ahora solo es compatible con NFS y AFS.
skolima
El uso de sistemas de archivos de red para esto no es una mala idea, tienden a madurar mucho más rápido que los parches de kernel. Me pregunto si Ceph o DRBD tienen modos útiles para el almacenamiento en niveles.
Tobu
1

Algunos enlaces relevantes. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) es el primer intento hacia un administrador de almacenamiento de datos de código abierto de nivel empresarial que mueve automáticamente los datos entre el almacenamiento de alto costo y el de bajo costo medios de comunicación.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI en Linux

http://jfs.sourceforge.net/ - JFS + DMAPI en Linux

sendmoreinfo
fuente
El proyecto OHSM parece interesante para seguir. Solo ext2 y el kernel 2.6.30 son compatibles por ahora, pero espero que si funciona bien, esto ganará más sistemas de archivos.
David Gardner
Ese proyecto parece abandonado, la actividad más reciente fue en 2009.
sendmoreinfo
0

Me vienen a la mente las instantáneas LVM2 ... pero en realidad no puedes hacer más que una sola instantánea.

dyasny
fuente
0

SAM-QFS es el producto existente de Sun y fue de código abierto el año pasado. Es CDDL, por lo que solo puede portarlo directamente a * BSD.

TRS-80
fuente