哪个科学数据数据库（可变大小的图像+元数据搜索）

Question

我正在寻找一个很好的数据库解决方案来存储大量的科学数据（大约100 GB到TB）。理想情况下，它将能够处理大量数据。

要求

我的数据文件是“图像”，一个约400万个条目数组（1000x1000x3个整数+ 1000x1000浮点数），以及每个图像约50-100个条目的相关元数据。元数据分层存储。图像将被组织成一个或几个“文件夹”（或“项目”），它们本身可以包含其他文件夹。一切都有所有者，等等。

我将需要主要基于其元数据在一个或几个文件夹中搜索100-10,000张图像。然后，我可能需要从图像中提取切片-如果只需要一部分数据，我真的不想加载所有数据。图像应以压缩格式存储。

编辑：需要强调的是，我缺乏统一的数据。例如，图像是未知尺寸的浮点数或整数，通常具有10 ^ 5-10 ^ 6个条目，每个图像的元数据数量可能会有所不同。当然，跨图像搜索元数据将仅限于具有相同键的图像。

当前方法

我目前（不是很好）的解决方案是混合数据库。首先，我使用一个SQL数据库（现在为Django + MySQL）来处理“文件夹”，所有者，并且每个图像都有一条记录，但没有任何数据。我也可能为元数据创建记录。其次，我正在使用PyTables以hdf5格式存储图像和元数据，并将其像数据库一样对待。这解决了切片和压缩问题，并允许我分层存储元数据，但是PyTables似乎没有可伸缩性，并且开发程度远不及商业数据库。（它不是针对多用户环境而设计的：我正在编写自己的锁！这是一个不好的信号。）

救命！

我不是一名硬核程序员，因此强烈建议使用标准数据库解决方案。我的“优化”肯定会包括维护和编程成本。谁能推荐喜欢的数据库解决方案或体系结构？关于关系vs等级vs其他的想法？

选项可能是SciDB（不常见，可能很好），SQL（听说这些应用程序对PostgreSQL不利）和HBase（实际上，我对此一无所知）。我觉得科学界尤其是天文学界必须有好的解决方案，但是大型项目似乎需要一支认真的团队来建立和维护。

我很乐意提供更多信息。

Answer 1

您是否以HDF5格式存储数据？由于您已经提到过您不愿意加载所有数据，因此您可能不太喜欢SciDB，MonetDB或RasDaMan等阵列数据库选项。将原始科学格式的大数据加载到数据库中是非常痛苦的，并且通常还需要一些额外的编程工作。

您可以检查本文：在HDF5上支持轻量级数据管理层。这项工作建议直接在HDF5上操纵SQL。