Apache zookeeper 动物园饲养员不断收到警告:“请注意;捕获到流结束异常“;

Apache zookeeper 动物园饲养员不断收到警告:“请注意;捕获到流结束异常“;,apache-zookeeper,flume,Apache Zookeeper,Flume,我现在使用的是CDH-5.3.1集群,其中三个zookeeper实例位于三个IP中: 133.0.127.40 n1 133.0.127.42 n2 133.0.127.44 n3 启动时一切正常,但最近我注意到节点n2不断收到警告: caught end of stream exception EndOfStreamException: Unable to read additional data from client sessionid **0x0**, likely client h

我现在使用的是CDH-5.3.1集群,其中三个zookeeper实例位于三个IP中:

133.0.127.40 n1
133.0.127.42 n2
133.0.127.44 n3
启动时一切正常,但最近我注意到节点n2不断收到警告:

caught end of stream exception

EndOfStreamException: Unable to read additional data from client sessionid **0x0**, likely client has closed socket
    at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:220)
    at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
    at java.lang.Thread.run(Thread.java:722)
它每秒钟发生一次,并且只发生在n2上,而n1和n3是正常的。 我仍然可以使用HBase shell扫描我的表,使用Solr WEB UI进行查询。但我无法启动Flume代理,该过程将在此步骤停止:

Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog

jetty-6.1.26.cloudera.4

Started SelectChannelConnector@0.0.0.0:41414.
几分钟后,我从Cloudera Manager收到警告,Flume代理超出了文件描述符的阈值


有人知道出了什么问题吗?提前感谢。

我记得在ZK中看到过类似的错误(承认Flume没有)。我认为当时的问题与节点上存储和/或传输到客户端的大量数据有关。在动物园里要考虑的事情。CFG:

  • 对自动敦促.snapRetainCount设置限制,例如将其设置为10
  • autopurge.purgeInterval
    设置为2(小时)
如果ZK客户机(Flume?)正在向ZK集群传输大型ZNode或从ZK集群传输大型ZNode,则可能需要将客户机JVM上的Java系统属性
jute.maxbuffer
以及服务器节点上的属性设置为足够大的值。我认为该物业的默认值为1M。为您的工作量确定合适的值恐怕是一个反复试验的过程