在Apache flink的节点之间共享数据集的最佳方法是什么？

Question

我正在使用Apache Flink处理数据流，并且需要在所有处理输入数据的节点之间共享索引。节点经常更新索引。

我想知道，从效率角度来看，通过广播变量共享数据集是一种好习惯吗？

是否在每次更新后在所有节点中更新广播变量？

Apache Flink是否仅针对最近的更改智能地增量更新广播变量？

Answer 1

我认为解决方案在于使用基于 Flink 的托管状态描述符的有状态函数。如果状态不可分区，请将运算符的并行度设置为 1。