NiFi - 失败后停止
我一直在尝试谷歌和搜索堆栈的答案,但已无法找到.
使用NiFi,可以在以前的作业失败时停止进程吗？
我们需要处理用户数据,但是数据是按顺序构建的,这样如果作业失败,我们就需要停止进一步的作业.
我知道我们可以创建脚本以在先前的进程失败时使进程失败,但是如果我需要整个组在失败时停止,那么这可能吗？我们不希望队列中的每个作业都遵循故障路径,我们希望它停止,直到我们可以查看数据并分析故障.
TL; DR - 我们可以在发生故障时停止流程,而不仅仅是将所有剩余的工作流入故障流程.我们希望队列中的数据等到我们修复,从而停止进程,而不是一次又一次地失败.
感谢您的任何反馈,欢呼!
编辑:错别字
您可以在队列上配置背压以停止上游进程.如果在故障队列中将背压阈值设置为1,则它将有效地停止处理器,直到您有机会解决故障.
屏幕截图显示了故障路由回到处理器,但这不是必需的.重要的是,在您采取措施之前,下一个处理器不应将其从队列中移除以保持背压.
- NiFi的设计强调单个文件的流量优于集体作业跟踪.该框架试图允许文件单独成功或失败,并且单个故障不会妨碍后续文件. (2认同)
| 归档时间： |
|
| 查看次数： |
861 次 |
| 最近记录： |