Lan*_*ova 5 metrics jmx apache-spark spark-streaming prometheus
我已按照此处的说明启用了将指标导出到Prometheus的功能。为了不仅允许从作业中导出指标，而且还可以从master和worker中导出指标，我为所有spark驱动程序，master，worker和executor启用了jmx代理。
这会导致问题，因为spark worker和executor并置在同一台机器上，因此，我需要将不同的jmx端口传递给它们。如果我在spark工作者和执行者之间存在1-1关系，这不是问题，但是，在每个工作者多个执行者的情况下，它会崩溃，因为在spark作业期间无法为特定执行者指定不同的端口提交。
当以群集模式提交作业时，情况甚至更糟，因为驱动程序，工作程序和执行程序都可能并置在同一节点上。
您如何解决这个问题？
| 归档时间： |
|
| 查看次数： |
500 次 |
| 最近记录： |