Nifi有批处理吗？

Question

我只需要知道这是否可能运行严重的处理器直到它完成.

"进程组中执行一系列处理器等待anthor进程组结果执行完成".

例如:

我在Nifi UI中有3个处理器.

P1-->P2-->P3
P-->Processor



Now i need to run p1 if it run completely then run P2 And finally it will run like sequence but one wait for another to be complete.

编辑-1:

例如我在web url.i中有数据可以使用GetHTTP处理器下载该数据现在我将其存储在putFile内容中.如果文件保存在putFile目录中,则运行FetchFile将该文件处理到我的数据库,如下面的工作流程.

GetHTTP-->PutFile-->FetchFile-->DB

这可能就像批量处理scanerio一样吗？

如果有任何想法我做错了请停止我.

Answer 1

NiFi本身并不是一个真正的批处理系统,它是一个更加面向连续处理的数据流系统.话虽如此,您可以使用一些技术来执行类似批处理的操作,具体取决于您使用的处理器.

Split处理器(SplitText,SplitJSON等)将属性写入包含"fragment.identifier"的流文件,该片段对于从传入流文件创建的所有拆分都是唯一的,"fragment.count"是总数那些分裂.像MergeContent这样的处理器使用这些属性来处理整批(也就是片段),因此在处理完整批/片段之后,这些处理器的输出将会发生.

另一种技术是在作业完成时在临时目录中写入空文件,然后ListFile处理器(指向该临时目录)将在检测到文件时发出流文件.

您能否详细描述流程中的处理器,以及如何知道批处理何时完成？