如何定期调度flink批处理

Question

我有一个java应用程序，它对通过查询数据库中的表获得的批次进行flink批处理并将其输入kafka主题。我将如何定期安排此计划。有flink调度器吗？例如，我的java应用程序应该在后台保持运行，flink调度程序应该定期从数据库查询表，然后flink批处理它并输入kafka（flink批处理和输入kafka已经是我应用程序的一部分）。如果有人对此有指示，请帮忙。

Answer 1

Flink 不提供作业调度程序。

您是否考虑过通过持续运行的 Flink DataStream 应用程序来实现该用例？您可以实现SourceFunction定期查询数据库的方法。

连续流应用程序具有较少的移动部件（没有调度程序，如果出现问题则没有故障处理）和跨“批次”边界的一致视图的优点。缺点是作业总是消耗资源（Flink 无法在低负载时自动缩小规模）。