带有版本控制的 HDF5 文件 (h5py) - 每次保存时都会更改哈希值

Question

我正在使用 h5py 将数字工作的中间数据存储在 HDF5 文件中。我将项目置于版本控制之下，但这不适用于 HDF5 文件，因为每次重新运行生成 HDF5 文件的脚本时，即使其中的数据没有变化，二进制文件也会发生变化。

这是一个小例子来说明这一点：

In [1]: import h5py, numpy as np

In [2]: A = np.arange(5)

In [3]: f = h5py.File('test.h5', 'w'); f['A'] = A; f.close()

In [4]: !md5sum test.h5
7d27c258d94ed5d06736f6d2ba7c9433  test.h5

In [5]: f = h5py.File('test.h5', 'w'); f['A'] = A; f.close()

In [6]: !md5sum test.h5
c1db5806f1393f2095c88dbb7efeb7d3  test.h5

In [7]: # the file has changed but still contains the same data!

我查看了 HDF5 文件格式文档和 h5py 文档，但没有找到任何可以帮助我解决此问题的内容。我的问题是：

1. 为什么即使我保存相同的数据文件也会改变？

2. 我怎样才能阻止它改变，所以当实际数字内容改变时，版本控制只能看到文件的新版本？

谢谢

Answer 1

HDF5 文件同时使用抽象数据模型和抽象存储模型。这意味着文件在磁盘上的存储方式可能（通常）与它在程序中的表示方式完全不同。可以用多种方式存储完全相同的数据，并且这对于您的程序来说并不明显。

HDF5文件格式存储规范允许在数据对象标头中使用多个时间戳。这些不存储为属性，因此通常无法由高级 API 访问。可以使用低级 HDF5 API 关闭写入这些时间戳，但尚不清楚 h5py 中是否有相关功能。这个github问题似乎正是你想要的，但不幸的是它仍然是开放的。