Apache zookeeper 动物园饲养员不断收到警告:“请注意;捕获到流结束异常“;
我现在使用的是CDH-5.3.1集群,其中三个zookeeper实例位于三个IP中:Apache zookeeper 动物园饲养员不断收到警告:“请注意;捕获到流结束异常“;,apache-zookeeper,flume,Apache Zookeeper,Flume,我现在使用的是CDH-5.3.1集群,其中三个zookeeper实例位于三个IP中: 133.0.127.40 n1 133.0.127.42 n2 133.0.127.44 n3 启动时一切正常,但最近我注意到节点n2不断收到警告: caught end of stream exception EndOfStreamException: Unable to read additional data from client sessionid **0x0**, likely client h
133.0.127.40 n1
133.0.127.42 n2
133.0.127.44 n3
启动时一切正常,但最近我注意到节点n2不断收到警告:
caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid **0x0**, likely client has closed socket
at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:220)
at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
at java.lang.Thread.run(Thread.java:722)
它每秒钟发生一次,并且只发生在n2上,而n1和n3是正常的。
我仍然可以使用HBase shell扫描我的表,使用Solr WEB UI进行查询。但我无法启动Flume代理,该过程将在此步骤停止:
Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
jetty-6.1.26.cloudera.4
Started SelectChannelConnector@0.0.0.0:41414.
几分钟后,我从Cloudera Manager收到警告,Flume代理超出了文件描述符的阈值
有人知道出了什么问题吗?提前感谢。我记得在ZK中看到过类似的错误(承认Flume没有)。我认为当时的问题与节点上存储和/或传输到客户端的大量数据有关。在动物园里要考虑的事情。CFG:
- 对自动敦促.snapRetainCount设置限制,例如将其设置为10
- 将
设置为2(小时)autopurge.purgeInterval
jute.maxbuffer
以及服务器节点上的属性设置为足够大的值。我认为该物业的默认值为1M。为您的工作量确定合适的值恐怕是一个反复试验的过程