小编Jul*_*lia的帖子

重新设计大量传感器数据的存储

我的任务是实施/重新设计一个解决方案,该解决方案将存储来自传感器阵列的天气数据。该阵列将由大约 40 个塔组成,每个塔有大约 10 个传感器,每个传感器将在不确定的时间(年)内以 10 秒的间隔对大气条件进行采样。此任务的一些应用程序和要求如下:

  • 管理和检索塔/传感器配置以了解数据分析。
  • 用于气象观测的传感器或时间间隔的数据可视化。
  • 为客户提供可靠且持久的数据资源/数据集,以比较模型和传感器的性能(可能需要一些后处理才能以所需的格式交付?)。

注意:当前的解决方案(作为概念验证实施,有 5 个塔)将数据存储为平面文件(每小时一个文件)。

我原本不确定这是否会构成未来的大数据问题,所以我研究了关系数据库和 NoSQL 数据库的几个解决方案,但我觉得我需要更多的指导,因为我不是数据管理专家。

我认为的解决方案之一是将数据存储在由塔、传感器和时间戳索引的关系数据库中,并按日期对表进行分区。

另一种基于未来扩展的方法是将其存储在文档类型的 NoSQL 数据库(如 MongoDB)中,并模仿当前解决方案的结构。

这些有什么好的方法吗?如果没有,什么是更好/推荐的解决方案?另外,是否有必要重新设计当前的解决方案?有人告诉我,使用平面文件的理由是他们认为关系数据库会占用太多开销。如果是这种情况,有没有办法避免这种情况?

nosql database-design scalability

8
推荐指数
1
解决办法
1631
查看次数

标签 统计

database-design ×1

nosql ×1

scalability ×1