Apache NiFi - “ExecuteSQL”并行运行查询？

Question

Apache NiFi 提供“ExecuteSQL”处理器来执行查询并将结果作为流文件返回。但是，如果我们选择执行选项为“所有节点”，NiFi是否会将查询分成不同的批次并并行执行每个批次（类似于SQOOP的做法）？

Answer 1

如果您使用 ExecuteSQL 并选择所有节点，则相同的查询将在所有节点上运行。

如果您想要类似 sqoop 的行为，您将希望仅在主节点上使用诸如GenerateTableFetch 之类的处理器，然后使用连接到 ExecuteSQL 的负载平衡连接，以便获取查询分布在整个集群中。