Apache nifi NiFi-故障时停止

Apache nifi NiFi-故障时停止,apache-nifi,Apache Nifi,我一直在用谷歌搜索,但一直找不到答案 使用NiFi,是否可以在以前的作业失败时停止进程 我们有需要处理的用户数据,但数据是按顺序构造的,因此,如果作业失败,我们需要停止进一步的作业运行 我知道我们可以创建脚本,在前一个进程失败时使进程失败,但如果我需要整个组在失败时停止,这可能吗?我们不希望队列中的每个作业都遵循故障路径,我们希望它停止,直到我们可以查看数据并分析故障 TL;DR-我们是否可以在出现故障时停止进程,而不仅仅是将所有剩余的作业导入故障流。我们希望队列中的数据等待修复,从而停止进程,

我一直在用谷歌搜索,但一直找不到答案

使用NiFi,是否可以在以前的作业失败时停止进程

我们有需要处理的用户数据,但数据是按顺序构造的,因此,如果作业失败,我们需要停止进一步的作业运行

我知道我们可以创建脚本,在前一个进程失败时使进程失败,但如果我需要整个组在失败时停止,这可能吗?我们不希望队列中的每个作业都遵循故障路径,我们希望它停止,直到我们可以查看数据并分析故障

TL;DR-我们是否可以在出现故障时停止进程,而不仅仅是将所有剩余的作业导入故障流。我们希望队列中的数据等待修复,从而停止进程,而不是一次又一次地失败

谢谢你的反馈,干杯


编辑:输入错误

您可以在队列上配置背压以停止上游进程。如果将故障队列上的背压阈值设置为1,它将有效地停止处理器,直到有机会解决故障为止


屏幕截图显示了返回处理器的故障路由,但这不是必需的。重要的是,在您采取行动之前,下一个处理器不应将其从队列中移除以保持背压。

感谢您的解决方案。有趣的是,唯一的方法是通过背压,但如果它起作用,它就起作用。干杯因此,我注意到,虽然这有效地停止了处理器,但并不能阻止处理器一次又一次地重试和失败同一个文件。当队列中进入处理器的文件未被处理时,失败的文件将被重新处理、失败、反复重复。是否没有其他方法可以在出现故障时停止进程?您不必将故障队列路由回处理器,如屏幕截图所示。您可以将其路由到其他位置,这样它就不会重试。将故障路由到已停止的处理器(如LogAttribute)将在不重试的情况下应用背压。但重要的是不要将其从失败队列中删除,因为这样会释放背压。NiFi的设计强调单个文件的流动而不是集体作业跟踪。该框架试图允许文件单独成功或失败,并允许个别失败不妨碍后续文件。