Apache nifi 群集Nifi运行不稳定,问题经常出现

Apache nifi 群集Nifi运行不稳定,问题经常出现,apache-nifi,Apache Nifi,java.net.SocketTimeoutException:读取超时 3节点,Nifi-1.10.0,ZK-3.6.5 我重置了相关设置,使Nifi在给定的时间内响应,如下所示。但这种方式无法工作 nifi.cluster.node.connection.timeout=120 sec nifi.cluster.node.read.timeout=120 sec nifi.zookeeper.connect.timeout=30 secs nifi.zookeeper.session.t

java.net.SocketTimeoutException:读取超时

3节点,Nifi-1.10.0,ZK-3.6.5

我重置了相关设置,使Nifi在给定的时间内响应,如下所示。但这种方式无法工作

nifi.cluster.node.connection.timeout=120 sec
nifi.cluster.node.read.timeout=120 sec
nifi.zookeeper.connect.timeout=30 secs
nifi.zookeeper.session.timeout=30 secs

nifi.zookeeper.connect.timeout=30 secs
nifi.zookeeper.session.timeout=30 secs

nifi.cluster.load.balance.comms.timeout=30 sec
更新: 当进入NIFI UI时,NIFI无法运行。此VM中只有一个应用程序

3节点具有相同的规格和配置

java.arg.2=-Xms4g java.arg.3=-Xmx4g

NIFI-APP.LOG

2020-06-03 08:54:27,845 WARN [Curator-ConnectionStateManager-0] o.a.c.f.state.ConnectionStateManager Session timeout has elapsed while SUSPENDED. Injecting a session expiration. Elapsed ms: 32546. Adjusted session timeout ms: 30000
ZK-LOG

2020-06-02 18:12:45,232 [myid:1] - WARN  [NIOWorkerThread-5:NIOServerCnxn@366] - Unable to read additional data from client sessionid 0x1014019b26f0005, likely client has closed socket

我认为JVM的内存太多,所以VM的性能不足以让Zookeeper工作


将JVM调谐到2G,Nifi可以成功工作。

@Kong需要考虑以下几点:

  • 将最小最大值设置为4g和8g,最多可使用节点总ram的60-70%。经常重启Nifi以重置从内存泄漏中窃取的ram。在调整性能之前重新启动所有
  • 检查最大线程调整。这需要基于您拥有的核心数量。默认设置不会充分利用节点核心
  • 调整垃圾收集-有相当多的帖子提供了关于如何做的信息
  • 检查流是否存在错误的并发或计划设置。错误调度的处理器(例如0秒)或并发性大的处理器可能会造成不稳定性

  • 我怀疑您需要调整一些设置组合,您应该可以看到您所寻求的稳定性。

    使用节点规范(core/ram)和Nifi配置最小/最大ram设置编辑帖子。@steven Dfeinz感谢您的回答。我已更新为否定的先生。看起来没有太多可用的ram。Nifi将采用的不仅仅是最小-最大设置。我将对下一步做一个评论/回答。谢谢。Nifi的巨大JVM会使Nifi UI卡住吗?怀疑其他服务器没有足够的资源来顺利运行。