Apache nifi Apache Nifi中的工作流数据意外消失

Apache nifi Apache Nifi中的工作流数据意外消失,apache-nifi,Apache Nifi,我的流量正常工作,但一小时后流量数据消失。我将堆大小的内存从100mb减少到8g,但它不起作用,我的cpu使用率增加到500%,然后我的流数据消失了。我的意思是,所有处理器的输入/输出都变为零,我附加了我的流。有人有解决办法吗 我的系统配置: macOs high sierra 处理器2.3 GHz Intel Core i7 内存16 GB 1600 MHz DDR3 这是我的流量日志 这是我在丢失数据和删除内容后的流程 我希望对这些基本概念的解释能消除混淆 关于NiFi NiFi是一个流管

我的流量正常工作,但一小时后流量数据消失。我将堆大小的内存从100mb减少到8g,但它不起作用,我的cpu使用率增加到500%,然后我的流数据消失了。我的意思是,所有处理器的输入/输出都变为零,我附加了我的流。有人有解决办法吗

我的系统配置:
macOs high sierra
处理器2.3 GHz Intel Core i7
内存16 GB 1600 MHz DDR3

这是我的流量日志

这是我在丢失数据和删除内容后的流程

我希望对这些基本概念的解释能消除混淆

关于NiFi NiFi是一个流管理工具,您可以使用处理器接收、处理和存储数据

通常情况下,NiFi处理完消息后,消息传入并传出

关于统计 每个处理器将跟踪传入和传出的消息。这些消息在处理器上被跟踪一段时间,然后被“遗忘”。我相信时间是5分钟

关于队列 您可以检查队列以查看其中的消息,如果没有消息,您当然不能检查它们。你可能对出处感兴趣

关于出处 您可以检查队列中消息的来源,以查看消息在经过处理器时是如何发展的(内容、时间戳)。我个人主要在HDF中使用NiFi,因此我不确定在没有平台的情况下运行NiFi时是否可以使用此选项

NiFi中的问题检测 当然可能会有例外,但如果NiFi无法接收消息,我希望它们会卡在队列中。如果NiFi正在处理它们,但失败了,您会期望红色方块开始出现在UI中


因此,通常很容易判断NiFi中是否出现了问题。

这是什么意思?日志中有错误吗?为什么你在减少记忆而不是增加记忆?请编辑您的问题并添加详细信息。@daggett谢谢您的回答,我编辑了我的问题。你有什么建议吗?只是想勾选一个明显的问题:你确定你的流量不是简单的空的吗?(输入输出统计数据仅在一段时间内有效)。——还要注意的是,您的流底部似乎仍有一些内容。--反驳我假设的一种方法是,在处理器前看到队列中的某些内容,然后在统计数据很快变为零的情况下看到它被提取。@DennisJaheruddin我确信我的流一开始不是空的,但过了一段时间,我的流变为空。当我的队列为空时,我怎么能看到其中的某些内容?@zahraeslami,
所有处理器都变为零
-如果nifi处理完所有数据,这是正常的。队列和处理器的统计信息仅在最后5分钟可用。因此,如果您的nifi在过去5分钟内什么都不做,那么所有统计数据都将为零。是的,数据来源是Apache nifi中的一个本机功能,因此它不需要任何外部平台来提供和可用。