发送Spark流量指标以打开tsdb

Question

如何从我的spark流工作发送指标以打开tsdb数据库？我试图在Grafana中使用open tsdb作为数据源.你可以帮我一些我可以开始的参考资料.

我确实看到开放的tsdb记者在这里做类似的工作.如何整合Spark流媒体作业的指标来使用它？有没有简单的选择呢.

Answer 1

将指标发送到 opentsdb 的一种方法是使用它的REST API。要使用它，只需将指标转换为 JSON 字符串，然后利用 Apache Http 客户端库发送数据（它是 Java 语言，因此可以在 scala 中使用）。示例代码可以在github上找到。

更优雅的解决方案是使用 Spark 指标库并向数据库添加接收器。曾经有人讨论过为 Spark 指标库添加 OpenTSDB 接收器，但最终它没有添加到 Spark 本身中。代码可以在github上找到，应该可以使用。不幸的是，该代码在 Spark 1.4.1 上兼容，但是，在最坏的情况下，仍然可以获得一些需要添加的内容的指示。