小编Tom*_*son的帖子

由 Kafka 引起的 NiFi 工作流瓶颈

我正在 Apache NiFi 中创建数据摄取工作流,使用 Kafka 作为缓冲系统。我有一个运行相同工作流的 3 节点集群设置,每个节点有 4 个核心。

我依赖于将数据移入和移出不同 Kafka 主题的多个实例,这是工作流程中最慢的部分,并且在性能方面非常不一致,因为两个相同的测试可能会增加 100% 的持续时间。

我们的 Publish 和 Consume Kafka 处理器在所有三个节点上运行,我们的 Kafka 主题有 3 个分区,跨越三个代理。

有没有人知道什么会导致这种不一致以及我可以做些什么来减轻它并加快工作流程?

concurrency performance apache-kafka apache-nifi hortonworks-dataflow

1
推荐指数
1
解决办法
2144
查看次数