Apache nifi Apache Nifi中的工作流数据意外消失
我的流量正常工作,但一小时后流量数据消失。我将堆大小的内存从100mb减少到8g,但它不起作用,我的cpu使用率增加到500%,然后我的流数据消失了。我的意思是,所有处理器的输入/输出都变为零,我附加了我的流。有人有解决办法吗 我的系统配置:Apache nifi Apache Nifi中的工作流数据意外消失,apache-nifi,Apache Nifi,我的流量正常工作,但一小时后流量数据消失。我将堆大小的内存从100mb减少到8g,但它不起作用,我的cpu使用率增加到500%,然后我的流数据消失了。我的意思是,所有处理器的输入/输出都变为零,我附加了我的流。有人有解决办法吗 我的系统配置: macOs high sierra 处理器2.3 GHz Intel Core i7 内存16 GB 1600 MHz DDR3 这是我的流量日志 这是我在丢失数据和删除内容后的流程 我希望对这些基本概念的解释能消除混淆 关于NiFi NiFi是一个流管
macOs high sierra
处理器2.3 GHz Intel Core i7
内存16 GB 1600 MHz DDR3 这是我的流量日志 这是我在丢失数据和删除内容后的流程
我希望对这些基本概念的解释能消除混淆 关于NiFi NiFi是一个流管理工具,您可以使用处理器接收、处理和存储数据 通常情况下,NiFi处理完消息后,消息传入并传出 关于统计 每个处理器将跟踪传入和传出的消息。这些消息在处理器上被跟踪一段时间,然后被“遗忘”。我相信时间是5分钟 关于队列 您可以检查队列以查看其中的消息,如果没有消息,您当然不能检查它们。你可能对出处感兴趣 关于出处 您可以检查队列中消息的来源,以查看消息在经过处理器时是如何发展的(内容、时间戳)。我个人主要在HDF中使用NiFi,因此我不确定在没有平台的情况下运行NiFi时是否可以使用此选项 NiFi中的问题检测 当然可能会有例外,但如果NiFi无法接收消息,我希望它们会卡在队列中。如果NiFi正在处理它们,但失败了,您会期望红色方块开始出现在UI中
因此,通常很容易判断NiFi中是否出现了问题。这是什么意思?日志中有错误吗?为什么你在减少记忆而不是增加记忆?请编辑您的问题并添加详细信息。@daggett谢谢您的回答,我编辑了我的问题。你有什么建议吗?只是想勾选一个明显的问题:你确定你的流量不是简单的空的吗?(输入输出统计数据仅在一段时间内有效)。——还要注意的是,您的流底部似乎仍有一些内容。--反驳我假设的一种方法是,在处理器前看到队列中的某些内容,然后在统计数据很快变为零的情况下看到它被提取。@DennisJaheruddin我确信我的流一开始不是空的,但过了一段时间,我的流变为空。当我的队列为空时,我怎么能看到其中的某些内容?@zahraeslami,
所有处理器都变为零
-如果nifi处理完所有数据,这是正常的。队列和处理器的统计信息仅在最后5分钟可用。因此,如果您的nifi在过去5分钟内什么都不做,那么所有统计数据都将为零。是的,数据来源是Apache nifi中的一个本机功能,因此它不需要任何外部平台来提供和可用。