小编roh*_*roh的帖子

我正在编写一个spark应用程序并使用spark-submit shell脚本运行它(使用yarn-cluster/yarn-client)

正如我现在看到的,spark-submit的退出代码是根据相关的纱线应用决定的 - 如果SUCCEEDED状态为0,否则为1.

我想要选择返回另一个退出代码 - 对于我的应用程序成功发生一些错误的状态.

可能吗？从应用程序返回不同的退出代码？

我试过使用System.exit()但没有成功......

谢谢.

我正在寻找有关延迟监控的帮助（flink 1.8.0）。

假设我有一个简单的流数据流，具有以下运算符：FlinkKafkaConsumer -> Map -> print。

如果我想测量数据流中记录处理的延迟，最好的机会是什么？我想获取处理源中接收到的输入的持续时间，直到接收器/完成接收器操作接收到输入为止。

我添加了我的代码： env.getConfig().setLatencyTrackingInterval(100);

然后，可以使用以下延迟指标：

但我不明白他们到底在测量什么？此外，据我所知，延迟平均值似乎与延迟无关。

我还尝试使用 codahale 指标来获取某些方法的持续时间，但这并不能帮助我获取在整个管道中处理的记录的延迟。

该解决方案与 LatencyMarker 相关吗？如果是，我如何在接收器操作中到达它以检索它？

谢谢，罗伊。