遍历HDF5文件/树并返回后继续？

Question

我有一个 HDF5 文件，其中包含某种树结构：

/a_1
/a_1/b_1
/a_1/b_1/data
/a_1
/a_1/b_2
/a_1/b_2/data
/a_2
/a_2/b_1
/a_2/b_1/data
/a_2
/a_2/b_2
/a_2/b_2/data

这里/a_X/b_X有一些组，我们可以假设数据集data 包含某种数值数据。最好的提取方法是什么data？当然，我会尝试：

def extract(name, node):
    if isinstance(node, hdf.Dataset):
        return node[...]
    return None

with h5py.File(some_file) as f:
    f.visititems(extract)

但这会在None第一次返回其他内容后停止。当然，可以构建一个全局对象并附加，但我想知道是否有某种“最佳实践”？

Answer 1

无论适合您的整体脚本结构。您可能会在文件/目录行走代码中得到提示。

因此，对于我的一个测试文件，一个简单的打印函数将生成：

def foo(name, obj):
   print(name, obj)
   return None

In [203]: f.visititems(foo)
Mcoo <HDF5 group "/Mcoo" (3 members)>
Mcoo/col <HDF5 dataset "col": shape (20,), type "<i4">
Mcoo/data <HDF5 dataset "data": shape (20,), type "<f8">
Mcoo/row <HDF5 dataset "row": shape (20,), type "<i4">
Mcsr <HDF5 group "/Mcsr" (3 members)>
Mcsr/data <HDF5 dataset "data": shape (20,), type "<f8">
Mcsr/indices <HDF5 dataset "indices": shape (20,), type "<i4">
Mcsr/indptr <HDF5 dataset "indptr": shape (11,), type "<i4">

我怀疑这是更常见的用法之一 - 只是快速探索数据结构的一种方法。为了获取特定的名称，dataset我们通常会使用完全限定的名称。或者迭代多个级别的键。

In [207]: f['Mcoo/row']
Out[207]: <HDF5 dataset "row": shape (20,), type "<i4">

正如您所注意到的和记录的，如果该函数尝试返回找到的对象，它将退出。

def extract(name, node):
    if isinstance(node, h5py.Dataset):
        return node[...]
    return None
In [211]: x=f.visititems(extract)
In [212]: x
Out[212]: array([0, 6, 8, 9, 4, 6, 9, 0, 1, 8, 9, 1, 2, 4, 6, 5, 6, 0, 4, 6])

我们可以收集字典中的项目（全局或属于某个对象）：

def extract(name, node):
    if isinstance(node, h5py.Dataset):
        dd[name] = node[...]
    return None

In [214]: dd = {}
In [215]: f.visititems(extract)
In [217]: list(dd.keys())
Out[217]: 
['Mcoo/col',
 'Mcsr/data',
 ...
 'Mcoo/row']

但文件本身可以作为字典访问，因此这可能不会增加太多，除了可能会展平嵌套。

或者作为值列表，或名称和值的元组列表等

一个简单的类：

class MyClass():
    def __init__(self):
        self.sets = []
    def __call__(self, name, node):
        if isinstance(node, h5py.Dataset):
            self.sets.append(node)
        return None

In [227]: M = MyClass()
In [228]: f.visititems(M)
In [229]: M.sets
Out[229]: 
[<HDF5 dataset "col": shape (20,), type "<i4">,
 <HDF5 dataset "data": shape (20,), type "<f8">,
 ... 
 <HDF5 dataset "indptr": shape (11,), type "<i4">]