搜索HDF5数据集

Question

我正在探索HDF5.我已经阅读了线程" 评估HDF5 "中的有趣评论,我理解HDF5是存储数据的首选解决方案,但您如何查询？例如,假设我有一个包含一些标识符的大文件:有没有办法快速知道文件中是否存在给定的标识符？

Answer 1

我认为答案是"不直接".

以下是我认为您可以实现该功能的一些方法.

使用组:

可以以基数树的形式使用组的层次结构来存储数据.但这可能不会扩展得太好.

使用索引数据集:

HDF具有一个引用类型,可用于从单独的索引表链接到主表.在写入主数据之后,可以使用在具有引用的其他键上排序的其他数据集.例如:

MainDataset (sorted on identifier)
0: { A, "C", 2 }
1: { B, "B", 1 }
2: { C, "A", 3 }

StringIndex
0: { "A", Reference ("MainDataset", 2) }
1: { "B", Reference ("MainDataset", 1) }
2: { "C", Reference ("MainDataset", 0) }

IntIndex
0: { 1, Reference ("MainDataset", 1) }
1: { 2, Reference ("MainDataset", 0) }
2: { 3, Reference ("MainDataset", 2) }

为了使用上述内容,在索引表中查找字段时必须编写二进制搜索.

在记忆中索引:

根据数据集的大小,使用像"boost :: serialize"这样的内存索引可以很容易地使用内存索引读取/写入自己的数据集.

HDF5-FastQuery:

这纸(也是本页面)描述了使用位图索引,以在HDF数据集执行复杂查询.我没试过这个.

Answer 2

在HDF5 1.8.0中引入了 H5Lexists:

http://www.hdfgroup.org/HDF5/doc/RM/RM_H5L.html#Link-Exists

您还可以使用H5Literate迭代HDF5文件中的内容:

http://www.hdfgroup.org/HDF5/doc/RM/RM_H5L.html#Link-Iterate

但您也可以通过尝试打开数据集来手动检查以前的版本.我们使用这样的代码来处理任何版本的HDF5:

bool DoesDatasetExist(const std::string& rDatasetName)
{
#if H5_VERS_MAJOR>=1 && H5_VERS_MINOR>=8
    // This is a nice method for testing existence, introduced in HDF5 1.8.0
    htri_t dataset_status = H5Lexists(mFileId, rDatasetName.c_str(), H5P_DEFAULT);
    return (dataset_status>0);
#else
    bool result=false;
    // This is not a nice way of doing it because the error stack produces a load of 'HDF failed' output.
    // The "TRY" macros are a convenient way to temporarily turn the error stack off.
    H5E_BEGIN_TRY
    {
        hid_t dataset_id = H5Dopen(mFileId, rDatasetName.c_str());
        if (dataset_id>0)
        {
            H5Dclose(dataset_id);
            result = true;
        }
    }
    H5E_END_TRY;
    return result;
#endif
}