Entrada y salida de matrices numpy a h5py

Tengo un código Python cuya salida es una matriz de tamaño, cuyas entradas son todas del tipo float. Si lo guardo con la extensión, .datel tamaño del archivo es del orden de 500 MB. Leí que el uso h5pyreduce considerablemente el tamaño del archivo. Entonces, digamos que tengo la matriz numpy 2D nombrada A. ¿Cómo lo guardo en un archivo h5py? Además, ¿cómo leo el mismo archivo y lo pongo como una matriz numérica en un código diferente, ya que necesito hacer manipulaciones con la matriz?

h5py proporciona un modelo de conjuntos de datos y grupos . El primero es básicamente matrices y el segundo se puede considerar como directorios. Cada uno tiene un nombre. Debería consultar la documentación de la API y los ejemplos:

http://docs.h5py.org/en/latest/quick.html

Un ejemplo simple en el que está creando todos los datos por adelantado y solo desea guardarlos en un archivo hdf5 se vería así:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Luego puede volver a cargar esos datos usando: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Definitivamente echa un vistazo a los documentos:

http://docs.h5py.org

Escribir en un archivo hdf5 depende de h5py o pytables (cada uno tiene una API de Python diferente que se encuentra en la parte superior de la especificación del archivo hdf5). También debe echar un vistazo a otros formatos binarios simples proporcionados por numpy de forma nativa, como np.save, np.savezetc.

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Una forma más limpia de manejar archivos abiertos / cerrados y evitar pérdidas de memoria:

Deberes:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Escribir:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Leer:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]