Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka openstack上的Kafka非常慢/无响应-如何进行故障排除_Apache Kafka_Openstack - Fatal编程技术网

Apache kafka openstack上的Kafka非常慢/无响应-如何进行故障排除

Apache kafka openstack上的Kafka非常慢/无响应-如何进行故障排除,apache-kafka,openstack,Apache Kafka,Openstack,我正在使用Openstack创建一个小型Kafka集群,作为私有云上更大管道的一部分。简言之,在Openstack中的节点上部署Kafka(0.8.2.2或0.9.0.0)时,即使是最基本的场景,我也无法让它及时响应 在触发单个Ubuntu 14.04服务器后: 安装OpenJDK 8 set JAVA_HOME 安装Scala 2.11.7将bin dir添加到路径 将卡夫卡二进制文件提取到/opt/Kafka(卡夫卡2.11-0.9.0.0.tgz或卡夫卡2.11-0.8.2.2.tgz)

我正在使用Openstack创建一个小型Kafka集群,作为私有云上更大管道的一部分。简言之,在Openstack中的节点上部署Kafka(0.8.2.2或0.9.0.0)时,即使是最基本的场景,我也无法让它及时响应

在触发单个Ubuntu 14.04服务器后:

  • 安装OpenJDK 8 set JAVA_HOME
  • 安装Scala 2.11.7将bin dir添加到路径
  • 将卡夫卡二进制文件提取到/opt/Kafka(卡夫卡2.11-0.9.0.0.tgz或卡夫卡2.11-0.8.2.2.tgz)
现在,在Kafka站点的快速入门部分(启动内置ZK、启动服务器、创建主题等)之后,同样没有什么特别之处,主题创建需要几秒钟的时间。列出主题可能需要20秒以上。控制台生产者似乎在没有错误的情况下工作,但控制台使用者中从未显示任何消息

在相同节点上的三节点ZK集合之上的三节点集群上,我也遇到过类似的慢度/故障。为了尽量减少变量,在这种模式下,我只添加了advised.host.name以匹配节点的关联浮动ip(host.name指向私有ip)

在本例中,代理0的配置为:

broker.id=0
advertised.listeners=PLAINTEXT://172.22.0.127:9092
listeners=PLAINTEXT://:9092
port=9092
host.name=10.0.0.92
advertised.host.name=172.22.0.127
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/var/log/kafka
num.partitions=2
num.recovery.threads.per.data.dir=1
log.retention.hours=1
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=10.0.0.92:2181,10.0.0.93:2181,10.0.0.94:2181
zookeeper.connection.timeout.ms=6000
delete.topic.enable=true
我可以在本地机器、本地虚拟机甚至Docker容器中使用Kafka。这让我相信Openstack上的卡夫卡有些东西是不好的。我在日志中没有发现任何问题,也没有提供任何特定的错误,这使得故障排除变得困难

令人惊讶的是,在搜索“kafka openstack”时,通常很少出现任何结果。因此,除了可能发生这种情况的原因之外,我还想知道是否有人在做这件事,如果是这样的话,是否存在可以识别的差异,这可能有助于发现真正的错误