Apache kafka Zookeeper f-sync问题导致卡夫卡超时

我们正在尝试在一个VM上进行单节点安装，Zookeeper和Kafka拥有16个内核和16 GB RAM。Zookeeper显示f-sync问题，设置的6000ms超时后，kafka会超时

其他信息： Zookeeper版本：3.4.6-1569965 卡夫卡版本：2.11-0.9.0.1

ZK日志中有以下条目：

[2017-03-06 16:37:18,013] INFO Processed session termination for sessionid: 0x15aa58d60530000 (org.apache.zookeeper.server.PrepRequestProcessor)
[2017-03-06 16:37:45,308] WARN fsync-ing the write ahead log in SyncThread:0 took 35773ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide (org.apache.zookeeper.server.persistence.FileTxnLog)
[2017-03-06 16:37:45,334] INFO Established session 0x15aa58d60530000 with negotiated timeout 6000 for client /127.0.0.1:44860 (org.apache.zookeeper.server.ZooKeeperServer)
[2017-03-06 16:37:45,340] WARN caught end of stream exception (org.apache.zookeeper.server.NIOServerCnxn)
EndOfStreamException: Unable to read additional data from client sessionid 0x15aa58d60530000, likely client has closed socket
        at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:228)
        at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
        at java.lang.Thread.run(Thread.java:745)
[2017-03-06 16:37:45,347] INFO Closed socket connection for client /127.0.0.1:44860 which had sessionid 0x15aa58d60530000 (org.apache.zookeeper.server.NIOServerCnxn)
[2017-03-06 16:37:50,360] WARN fsync-ing the write ahead log in SyncThread:0 took 5009ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide (org.apache.zookeeper.server.persistence.FileTxnLog)

Kafka已超时到ZK错误：

[2017-03-06 16:10:11,115] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 6000
                at org.I0Itec.zkclient.ZkClient.connect(ZkClient.java:1223)
                at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:155)
                at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:129)
                at kafka.utils.ZkUtils$.createZkClientAndConnection(ZkUtils.scala:89)
                at kafka.utils.ZkUtils$.apply(ZkUtils.scala:71)
                at kafka.server.KafkaServer.initZk(KafkaServer.scala:278)
                at kafka.server.KafkaServer.startup(KafkaServer.scala:168)
                at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37)
                at kafka.Kafka$.main(Kafka.scala:67)
                at kafka.Kafka.main(Kafka.scala)
[2017-03-06 16:10:11,120] INFO shutting down (kafka.server.KafkaServer)
[2017-03-06 16:10:11,128] INFO shut down completed (kafka.server.KafkaServer)
[2017-03-06 16:10:11,129] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)
org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 6000
                at org.I0Itec.zkclient.ZkClient.connect(ZkClient.java:1223)
                at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:155)
                at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.java:129)
                at kafka.utils.ZkUtils$.createZkClientAndConnection(ZkUtils.scala:89)
                at kafka.utils.ZkUtils$.apply(ZkUtils.scala:71)
                at kafka.server.KafkaServer.initZk(KafkaServer.scala:278)
                at kafka.server.KafkaServer.startup(KafkaServer.scala:168)
                at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:37)
                at kafka.Kafka$.main(Kafka.scala:67)
                at kafka.Kafka.main(Kafka.scala)
[2017-03-06 16:10:11,140] INFO shutting down (kafka.server.KafkaServer)

[2017-03-06 16:10:11115]KafkaServer启动期间出现致命错误。准备关闭（kafka.server.KafkaServer）
org.I0Itec.zkclient.exception.ZkTimeoutException:无法在超时时间内连接到zookeeper服务器：6000
位于org.I0Itec.zkclient.zkclient.connect（zkclient.java:1223）
在org.I0Itec.zkclient.zkclient.（zkclient.java:155）
在org.I0Itec.zkclient.zkclient.（zkclient.java:129）
在kafka.utils.ZkUtils$.createZkClientAndConnection（ZkUtils.scala:89）上
位于kafka.utils.ZkUtils$.apply（ZkUtils.scala:71）
位于kafka.server.KafkaServer.initZk（KafkaServer.scala:278）
在kafka.server.KafkaServer.startup（KafkaServer.scala:168）
在kafka.server.KafkaServerStartable.startup（KafkaServerStartable.scala:37）
在kafka.kafka$.main（kafka.scala:67）
在卡夫卡.卡夫卡.梅因（卡夫卡.斯卡拉）
[2017-03-06 16:10:11120]信息关闭（卡夫卡服务器卡夫卡服务器）
[2017-03-06 16:10:11128]信息关闭完成（卡夫卡服务器卡夫卡服务器）
[2017-03-06 16:10:11129]KafkaServerStartable启动期间出现致命错误。准备关闭（kafka.server.KafkaServerStartable）
org.I0Itec.zkclient.exception.ZkTimeoutException:无法在超时时间内连接到zookeeper服务器：6000
位于org.I0Itec.zkclient.zkclient.connect（zkclient.java:1223）
在org.I0Itec.zkclient.zkclient.（zkclient.java:155）
在org.I0Itec.zkclient.zkclient.（zkclient.java:129）
在kafka.utils.ZkUtils$.createZkClientAndConnection（ZkUtils.scala:89）上
位于kafka.utils.ZkUtils$.apply（ZkUtils.scala:71）
位于kafka.server.KafkaServer.initZk（KafkaServer.scala:278）
在kafka.server.KafkaServer.startup（KafkaServer.scala:168）
在kafka.server.KafkaServerStartable.startup（KafkaServerStartable.scala:37）
在kafka.kafka$.main（kafka.scala:67）
在卡夫卡.卡夫卡.梅因（卡夫卡.斯卡拉）
[2017-03-06 16:10:11140]信息关闭（卡夫卡服务器卡夫卡服务器）

如果这是已知的问题与任何可用的解决办法，请分享任何链接/论坛，我可以跟进

---

谢谢

检查您的动物园管理员是否正在运行

您在配置中提供了正确的端口

消费者使用zookeeper端口（2181默认值）和生产者使用kafka端口（6667默认值）