我有几个关于flink的并行性的问题。这是我的设置:
我有 1 个主节点和 2 个从节点。在 flink 中,我创建了 3 个 kafka 消费者,每个消费者都来自不同的主题。
由于元素的顺序对我来说很重要,每个主题只有一个分区,我有 flink 设置来使用事件时间。
然后我在每个数据流上运行以下管道(以伪代码):
source
.map(deserialize)
.window
.apply
.map(serialize)
.writeTo(sink)
Run Code Online (Sandbox Code Playgroud)
到目前为止,我以-p 2假设这将允许我使用我的两个节点的参数启动我的 flink 程序。结果不是我所希望的,因为我的输出顺序有时会混乱。
在阅读了 flink 文档并试图更好地理解它之后,有人可以确认我的以下“学习”吗?
1.) Passing-p 2仅配置任务并行度,即一个任务(例如map(deserialize))将被拆分成的最大并行实例数。如果我想在整个管道中保持订单,我必须使用-p 1.
2.) 这对我来说似乎矛盾/令人困惑:即使并行度设置为 1,不同的任务仍然可以并行(同时)运行。因此,如果我通过 ,我的 3 个管道也将并行运行-p 1。
作为一个后续问题:有没有办法找出哪些任务映射到哪个任务槽,以便我可以自己确认并行执行?
我将不胜感激任何输入!
更新
下面是 flink 的执行计划-p 2。