Pal*_*ini 5 database time-series bigdata apache-spark
我开始学习大数据和Apache Spark,我有一个疑问.
将来我需要从物联网收集数据,这些数据将作为时间序列数据发给我.我正在阅读时间序列数据库(TSDB),我发现了一些开源选项,如Atlas,KairosDB,OpenTSDB等.
我实际上需要Apache Spark,所以我想知道:我可以在Apache Spark上使用时间序列数据库吗？它有意义吗？请记住,我对大数据的概念,Apache Spark以及我在这个问题中谈到的所有问题都很陌生.
如果我可以通过Spark运行TSDB,我该如何实现？
小智 3
我是一名 OpenTSDB 提交者，我知道这是一个老问题，但我想回答一下。我的建议是将传入的数据写入 OpenTSDB，假设您只想存储原始数据并稍后进行处理。然后通过 Spark，使用 OpenTSDB 类执行 OpenTSDB 查询。
您也可以使用类编写数据，我认为您想使用 IncomingDataPoint 构造，实际上我目前手头没有详细信息。如果有更多问题，请随时通过 OpenTSDB 邮件列表与我联系。
您可以在此处查看 OpenTSDB 如何处理传入的“put”请求，您应该能够在写入代码中执行相同的操作：
https://github.com/OpenTSDB/opentsdb/blob/master/src/tsd/PutDataPointRpc.java#L42
您可以在此处看到提交 OpenTSDB 查询的 Splicer 项目，我认为可以在您的 Spark 项目中使用类似的方法：
| 归档时间： |
|
| 查看次数： |
1814 次 |
| 最近记录： |