Preguntas etiquetadas con h5py

Entrada y salida de matrices numpy a h5py

Tengo un código Python cuya salida es una matriz de tamaño, cuyas entradas son todas del tipo float. Si lo guardo con la extensión, .datel tamaño del archivo es del orden de 500 MB. Leí que el uso h5pyreduce considerablemente el tamaño del archivo. Entonces, digamos que tengo la matriz numpy 2D...

¿Existe una ventaja en la velocidad de análisis o en el uso de la memoria al usar HDF5 para almacenamiento de matriz grande (en lugar de archivos binarios planos)?

Estoy procesando matrices 3D grandes, que a menudo necesito cortar de varias maneras para realizar una variedad de análisis de datos. Un "cubo" típico puede tener ~ 100 GB (y probablemente aumentará de tamaño en el futuro) Parece que el formato de archivo recomendado típico para grandes...