Apache Flink 资源规划最佳实践

ard*_*ani 5 apache-flink flink-streaming flink-cep flink-sql

我正在寻找建议/最佳实践,以确定在 Flink 集群上部署流作业所需的最佳资源。

资源有

  1. 每个 TaskManager 的任务槽数
  2. TaskManager 的最佳内存分配
  3. 最大并行度

Arv*_*ise 1

这篇博文提供了一些关于如何调整大小的想法。它旨在将正在开发的 Flink 应用程序转移到生产环境。

在此之前我不知道有什么资源可以帮助调整大小,因为作业的拓扑具有巨大的影响。因此,您通常会从 PoC 和少量数据开始,然后推断您的发现。

Flink 文档中描述了内存设置。我还会使用适合您的 Flink 版本的页面,因为它最近发生了更改。