Configuración para principiantes de ZFS con unidades de diferentes tamaños

Perdón por las preguntas novatas, he buscado en Google todo tipo de tutoriales para crear mi incursión ZFS, pero parece que no puedo encontrar los enlaces correctos para las respuestas que estoy buscando.

Este es mi primer intento de RAID, y de todo lo que he leído, parece que zfs es la mejor manera de hacerlo.

1. ¿Qué sucede si tengo que cambiar el hardware subyacente detrás del grupo zfs? Al igual que el mobo / procesador, ¿qué sucede si eso me muere en uno o dos años? ¿Puedo portar mi grupo zfs de alguna manera?
2. Tengo el conjunto de unidades de diferentes tamaños, y estoy tratando de sacarle el máximo espacio de almacenamiento con redundancia. ¿Cuál es la mejor configuración para esta configuración y cuánto espacio perderé al usar estas unidades de diferentes tamaños? No estoy creando esto para ningún requisito de velocidad, solo quiero un servidor de archivos para múltiples HTPC. Mis unidades disponibles actualmente para esto son:
   • 1x unidad 'híbrida' de 500 GB
   • 1x unidad de 1 TB
   • 1x unidad de 3 TB
   • 1x Unidad de 4 TB (se agregará al grupo más tarde, actualmente contiene todos los datos de las unidades enumeradas anteriormente)
3. ¿Agregar el disco de 4TB al grupo más tarde será un problema de algún tipo?
4. ¿Alguna recomendación sobre un sistema operativo Linux para ejecutar todo esto, y debo usar una unidad separada para el sistema operativo? Estoy familiarizado con Ubuntu, RHEL y OpenSUSE / SLES.

Cualquier ayuda es muy apreciada, continúo leyendo sobre esto, solo mucho para asimilar a la vez, cualquier enlace sobre dónde comenzar también sería muy útil.

¿Qué sucede si tengo que cambiar el hardware subyacente detrás del grupo zfs? Al igual que el mobo / procesador, ¿qué sucede si eso me muere en uno o dos años? ¿Puedo portar mi grupo zfs de alguna manera?

Un grupo de ZFS no depende del hardware. Solo asegúrese de que su HBA (Adaptador de bus de host) no esté haciendo algo como encriptar sus datos a nivel de hardware. ZFS funciona mejor con un HBA como un LSI 9211-8i o un IBM m1015 con flash cruzado para usar el firmware 9211-8i, no una tarjeta RAID de "hardware" completa.

Tengo el conjunto de unidades de diferentes tamaños, y estoy tratando de sacarle el máximo espacio de almacenamiento con redundancia. ¿Cuál es la mejor configuración para esta configuración y cuánto espacio perderé al usar estas unidades de diferentes tamaños? No estoy creando esto para ningún requisito de velocidad, solo quiero un servidor de archivos para múltiples HTPC. Mis unidades disponibles actualmente para esto son: 1x Unidad 'híbrida' de 500GB 1x Unidad de 1TB 1x Unidad de 3TB 1x Unidad de 4TB (se agregará al grupo más tarde, actualmente contiene todos los datos de las unidades enumeradas anteriormente)

Si yo fuera usted, vendería las unidades más pequeñas y gastaría el dinero en unidades más grandes del mismo tamaño. Hará tu vida mucho más fácil. Además, no puede simplemente agregar unidades a un grupo de ZFS. Hay restricciones Lea aquí .

¿Agregar el disco de 4TB al grupo más tarde será un problema de algún tipo?

Posiblemente. Estoy en una posición similar. En algún momento en el futuro tendré que aumentar mi capacidad de almacenamiento. En ese momento planeo comprar un segundo HBA y una nueva gama de discos más grandes. Luego transferiré todos los datos de mis unidades existentes a mis nuevas unidades y luego venderé mis unidades existentes. Puede haber otras formas (más baratas) de evitar esto, pero haciéndolo de esta manera:

1. Mantiene todas mis unidades del mismo tamaño
2. Solo tiene el costo adicional de un HBA adicional, que de todos modos no es algo malo tener
3. No requiere que reemplace mis unidades de una en una, volviendo a platear después de cada reemplazo.

¿Alguna recomendación sobre un sistema operativo Linux para ejecutar todo esto, y debo usar una unidad separada para el sistema operativo? Estoy familiarizado con Ubuntu, RHEL y OpenSUSE / SLES.

No use Linux, no tiene soporte nativo de ZFS. El soporte de Linux para ZFS proviene de ZFS en Linux y zfs-fuse . El estado actual de ZFS está cambiando a medida que Oracle hace todo lo posible para arruinarlo. Es probable que ZFS se ramifique en la versión 28 en un futuro muy cercano, por lo que no haga que su grupo de ZFS tenga una versión superior a 28 a menos que esté 100% seguro de que desea seguir con una solución de Oracle. Actualmente FreeBSD y sus spin-offs soportan la versión 28 de ZFS.

Como usted es un novato ZFS autoproclamado, recomendaría FreeNAS . Lo he estado usando por un tiempo y estoy bastante feliz con eso. Definitivamente permitirá la configuración más sencilla para usted.

Pensamientos Adicionales:

Asegúrese de elegir el nivel correcto de paridad para su caso de uso particular. Específicamente, asegúrese de planificar alrededor de URE . Básicamente, no desea usar RAID 5 (RAID Z1) si está usando algo más grande que unidades de 2TB. Hay algunos otros factores a tener en cuenta que también pueden incitarlo a aumentar su nivel de datos de paridad. Aquí hay un buen artículo sobre el tema.

Actualizar:

Han pasado 1,5 años desde que publiqué esta respuesta y en ese tiempo le he dado a ZFS en Linux (específicamente el servidor Ubuntu) otra oportunidad. Ha recorrido un largo camino desde que lo intenté por primera vez y estoy muy feliz hasta ahora. Mi razón para cambiar fueron las restricciones de instalación en FreeNAS y el sistema de encarcelamiento. Quería usar mi servidor para algo más que un servidor NAS y FreeNAS lo dificulta. El sistema de encarcelamiento es bueno y muy seguro, pero realmente no necesitaba ese nivel de seguridad en mi hogar y no quería lidiar con iniciar sesión en una cárcel cada vez que quería descomprimir un archivo. Creo que FreeNAS sigue siendo una buena opción si recién está comenzando con ZFS (debido a la interfaz web) o si solo desea un dispositivo NAS (es decir, no necesita otra funcionalidad de servidor).

1: no hay problema para cambiar nada. El grupo debe ser importable independientemente de la CPU, la placa base o cualquier cosa similar.

2: ZFS funciona mejor con dispositivos del mismo tamaño. Además, como desea redundancia, los dispositivos más grandes que el más pequeño perderían su tamaño adicional. Finalmente, no puede agregar un dispositivo (por ejemplo: el disco de 4 TB) a un RAIDZ. Si solo desea redundancia de metadatos (lo cual dudo), puede crear una franja con todos sus discos y agregar el disco de 4 TB más tarde al grupo.

Alternativamente, primero puede crear un grupo de 500 GB que contenga un espejo con el disco 1 y el disco 2 y conservar el disco 3 para más adelante, luego agregar un segundo espejo cuando tenga el disco de 4 TB disponible con el disco 3 y el disco 4 haciendo un grupo de 3.5 TB .

3: sí, ver # 2

4: Sin recomendación.

Si desea crear una incursión con zfs usando diferentes tamaños de disco, debe usar "zpool create (nombre de su grupo) raidz1 -f sdb sdc sdd" -f arqument force zfs para usar diferentes tamaños, ejemplo 500gb 1tb 250gb hd

Resulta que no puedes crear con ashift = 12 en zfs-fuse:

# zpool create -n -o ashift=12 test /dev/disk/by-id/scsi-SATA_......
property 'ashift' is not a valid pool property

Pero funciona con el de github zfs + spl 0.6.5.x:

# dd if=/dev/zero of=/tmp/testfile bs=1M count=64
# zpool create -o ashift=12 test /tmp/testfile
# dd if=/dev/zero of=/tmp/testfile8 bs=1M count=64
# zpool create -o version=8 test8 /tmp/testfile8

La respuesta de ubiquibacon cubre todas sus preguntas directas, pero pensé que haría alguna "experiencia de primera mano".

ZFS en FreeBSD es mi área principal de experiencia, aunque la mayoría de las implementaciones de ZFS son lo suficientemente similares como para que los recursos sean análogos. Elegí FreeBSD para mi instalación porque me da un sistema operativo de propósito general que puedo usar para cualquier propósito tortuoso que elija, en lugar de una solución más amigable pero especial como FreeNAS. ZFS, configurado correctamente, puede ser un gran sistema. ZFS configurado incorrectamente puede ser un dolor total. Es un sistema de archivos relativamente nuevo y no se entiende tan bien como los sistemas de archivos más antiguos y mejor establecidos (como UFS2 en FreeBSD o ext2 / 3/4 en Linux. Las listas de correo son bastante activasy probablemente valga la pena al menos escanearlos para comprender lo que se espera de usted, en caso de que tenga algún problema. Las personas que están en ellos son generalmente amigables y muy serviciales siempre que esté dispuesto a ayudar a descubrir qué está pasando. Para esta "novedad" general, obtienes características ordenadas como la compresión que se puede activar en muchas circunstancias con poca pérdida, y características peligrosas como la desduplicación , que puede requerir muchos recursos , son imposibles de desactivar sin copiar todos sus datos apagados, y puede hacer que su computadora no se pueda arrancar (como lo hizo la mía, un día feliz).

Es un gran sistema de archivos si alguno de los beneficios supera las compensaciones. He sido feliz con el mío en general.

Una solución ad-hoc para esto es dividir los discos en conjuntos de particiones de igual tamaño y luego crear múltiples agrupaciones utilizando conjuntos de particiones de igual tamaño.

Puede haber algunos problemas de rendimiento debido a tener varios grupos en los mismos discos físicos, pero puede utilizar la mayor parte del espacio en sus discos.