我正在使用 nifi 1.1.0 并在其上运行太多处理器,因此运行负载太大。由于负载过多,处理器运行速度很慢,我收到了一些错误:
The rate of the dataflow is exceeding the provenance recording rate. slowing down flow to accommodate.
Run Code Online (Sandbox Code Playgroud)
我在“nifi.properties”文件中更改了来源存储库的存储大小,但没有改进。我更改了以下属性:
nifi.provenance.repository.max.storage.size = 2 GB
Run Code Online (Sandbox Code Playgroud)
我用谷歌搜索但没有得到正确的解决方案。谁能帮我解决这个问题。
请在下面找到相同的屏幕截图:
该错误属于以下属性。
nifi.provenance.repository.index.threads=1
Run Code Online (Sandbox Code Playgroud)
默认值为 1。
对于在大量流文件上运行的流,来源事件的索引可能会成为瓶颈。
如果是这种情况,将出现一个公告,指示“数据流的速率超过来源记录速率。正在减慢流量以适应。”
如果发生这种情况,增加此属性的值可能会提高来源存储库处理这些记录的速率,从而提高总体吞吐量。
请记住,当您增加分配给一个进程的线程数时,就会减少另一进程可用的线程数。因此,除非遇到上述错误消息,否则应将其保留为 1。
出于您的考虑,您可以使用以下最佳实践来配置 NiFi
您可能会获得更好的结果表现。