我需要对 NiFi 处理器进行一些澄清。
由于每个处理器都有并发任务,如果我为处理器设置并发任务,那么它会提高处理器的处理速度。但它会影响系统性能,例如 100% 磁盘使用率、100% 内存使用率等
有没有其他方法可以在不使用并发任务的情况下加速处理器?
引用 @joe-witt 在邮件列表中给你的回复:
对于支持它的处理器,请考虑使用“25 毫秒的运行持续时间”。这允许框架将许多操作批处理为更少的事务,从而可以显着提高吞吐量。
100% 内存使用是一个问题。增加堆大小或考虑重新设计/简化流程。
应解决 100% 磁盘使用率问题。确保每个存储库位于物理上独立的分区上。如果这是不可能的,那么请记住,他们会为彼此造成拥塞,或者考虑切换到易失性的来源存储库。
查看将内容完全加载到内存中的处理器的流程。这会极大地损害性能。
归档时间: |
|
查看次数: |
1530 次 |
最近记录: |