Flink 自动缩放和最大并行度

5 apache-flink flink-streaming

引用自 javadoc 上的StreamExecutionEnvironment.setMaxParallelism最大并行度指定了动态缩放的上限。

这里究竟是指哪个动态缩放?我找不到任何运算符自动缩放的经验证据:无论您拥有多少空闲插槽,无论有多大maxParallelism,以及有多少逻辑分区,实际并行性(根据 web ui)始终是一个这是通过一个 setParallelism

此外,根据这个最被接受且从未受到挑战的答案/sf/answers/3044517661/,Flink 中没有动态缩放这样的东西。

那么有吗?或者 javadoc 具有误导性(或者那里的“动态”是什么意思)?如果没有,是否有此功能的计划?

Fab*_*ske 4

Flink(1.5.0版本)尚不支持动态伸缩。

但是,可以通过获取保存点、停止正在运行的作业并以调整后的(更小或更大)并行度重新启动作业来手动缩放作业(或通过外部服务) 。但是,新的并行度最多可以是之前配置的最大并行度。一旦作业开始,最大并行度就会被写入保存点,并且不能再更改。

对动态缩放的支持已列入路线图。从 1.5.0 版本(2018 年 5 月发布)开始,Flink 支持 Yarn、Mesos 等资源管理器的动态资源分配。这是迈向动态扩展的重要一步。事实上,该功能的实验版本已在 2018 年 4 月的Flink Forward SF 2018 上进行了演示