jav*_*ass 3 parallel-processing distributed-computing bigdata apache-flink
假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8,我是否只使用 8 个任务槽?
如果我有 8 个有 8 个插槽的任务管理器,并以 8 的并行度提交相同的作业怎么办?它是完全一样的吗?或者数据的处理方式有什么不同?
谢谢你。
Flink 集群中的任务槽总数定义了最大并行度,但使用的槽数可能会超过实际并行度。例如,考虑以下工作:
如果在具有 2 个任务管理器的集群中以两个并行运行,每个管理器提供 3 个插槽,调度程序将使用 5 个任务插槽,如下所示:
但是,如果基本并行度增加到 6,则调度程序将执行此操作(请注意,在此示例中接收器保持并行度为 1):
有关更多信息,请参阅Flink 的分布式运行时环境。
| 归档时间: |
|
| 查看次数: |
792 次 |
| 最近记录: |