¿Existen herramientas diseñadas específicamente para comprimir datos científicos de coma flotante? Si una función es fluida, obviamente existe una gran correlación entre los números que representan esa función, por lo que los datos deberían comprimirse bien. Sin embargo, los datos binarios de...
He estado usando HDF5 durante años, pero a medida que aumenta el tamaño del conjunto de datos, estoy empezando a experimentar los mismos problemas enumerados aquí. http://cyrille.rossant.net/moving-away-hdf5/ ¿Me puede indicar un formato como HDF5 con - Buen soporte para escrituras paralelas -...
TL, DR ¿Cuál es la mejor práctica aceptada en los círculos informáticos científicos para almacenar grandes cantidades de datos estructurados jerárquicamente? Por ejemplo, SQL no funciona bien con grandes matrices dispersas. ¿Existe una buena herramienta para estructurar, almacenar y analizar este...
No estoy familiarizado con el formato de archivo utilizado en HDF5, pero me pregunto si los archivos HDF5 son adecuados para el control de revisión con git (o, por ejemplo, Mercurial o Subversion). Supongo que lo que quiero decir es: ¿los archivos HDF5 son adecuados para la diferenciación basada en...