数据流的速率超过出处记录速率。减慢流量以适应

ank*_*kit 5 apache-nifi

我正在使用 nifi 1.1.0 并在其上运行太多处理器,因此运行负载太大。由于负载过多,处理器运行速度很慢,我收到了一些错误:

The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate.
Run Code Online (Sandbox Code Playgroud)


我在“nifi.properties”文件中更改了来源存储库的存储大小,但没有改进。我更改了以下属性:

nifi.provenance.repository.max.storage.size = 2 GB
Run Code Online (Sandbox Code Playgroud)

我用谷歌搜索但没有得到正确的解决方案。谁能帮我解决这个问题。

请在下面找到相同的屏幕截图:

在此处输入图片说明

VM *_* MP 4

该错误属于以下属性。

nifi.provenance.repository.index.threads=1
Run Code Online (Sandbox Code Playgroud)

默认值为 1。

对于在大量流文件上运行的流,来源事件的索引可能会成为瓶颈。

如果是这种情况,将出现一个公告,指示“数据流的速率超过来源记录速率。正在减慢流量以适应。”

如果发生这种情况,增加此属性的值可能会提高来源存储库处理这些记录的速率,从而提高总体吞吐量。

请记住,当您增加分配给一个进程的线程数时,就会减少另一进程可用的线程数。因此,除非遇到上述错误消息,否则应将其保留为 1。

出于您的考虑,您可以使用以下最佳实践来配置 NiFi

https://community.hortonworks.com/articles/7882/hdfnifi-best-practices-for-setting-up-a-high-perfo.html

您可能会获得更好的结果表现。