Flink:Jobmanager UI 中设置的并行度与任务槽有什么关系?

jav*_*ass 3 parallel-processing distributed-computing bigdata apache-flink

假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8,我是否只使用 8 个任务槽?

如果我有 8 个有 8 个插槽的任务管理器,并以 8 的并行度提交相同的作业怎么办?它是完全一样的吗?或者数据的处理方式有什么不同?

谢谢你。

Dav*_*son 5

Flink 集群中的任务槽总数定义了最大并行度,但使用的槽数可能会超过实际并行度。例如,考虑以下工作:

Flink 作业

如果在具有 2 个任务管理器的集群中以两个并行运行,每个管理器提供 3 个插槽,调度程序将使用 5 个任务插槽,如下所示:

两个任务管理器的并行性,每个任务管理器具有三个插槽

但是,如果基本并行度增加到 6,则调度程序将执行此操作(请注意,在此示例中接收器保持并行度为 1):

将并行度增加到六个

有关更多信息,请参阅Flink 的分布式运行时环境