Apache storm 喷口未在风暴群集模式下读取/发射数据

Apache storm 喷口未在风暴群集模式下读取/发射数据,apache-storm,Apache Storm,我正在本地和集群模式下使用ApacheStorm 1.0.0。对于喷口,我正在阅读卡夫卡主题中的数据(我使用的是卡夫卡2.11-0.8.2.1)。喷口正在读取卡夫卡主题中的数据,并且在本地模式下使用storm时也会发出数据,但在群集模式下运行storm时,storm喷口不会发出任何数据 我读取卡夫卡数据的拓扑实现如下: brokerHosts = new ZkHosts(kafkaZookeeper); SpoutConfig kafkaConfig = new SpoutConfig(brok

我正在本地和集群模式下使用ApacheStorm 1.0.0。对于喷口,我正在阅读卡夫卡主题中的数据(我使用的是卡夫卡2.11-0.8.2.1)。喷口正在读取卡夫卡主题中的数据,并且在本地模式下使用storm时也会发出数据,但在群集模式下运行storm时,storm喷口不会发出任何数据

我读取卡夫卡数据的拓扑实现如下:

brokerHosts = new ZkHosts(kafkaZookeeper);
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, kafkaTopicIn, "", "storm");
kafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new KafkaSpout(kafkaConfig), 2);
storm.zookeeper.servers:
- "localhost"
storm.zookeeper.port: 2181
nimbus.seeds: ["localhost"]

storm.local.dir: "/tmp/storm"
我的风暴配置文件(conf/storm.yaml):

brokerHosts = new ZkHosts(kafkaZookeeper);
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, kafkaTopicIn, "", "storm");
kafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new KafkaSpout(kafkaConfig), 2);
storm.zookeeper.servers:
- "localhost"
storm.zookeeper.port: 2181
nimbus.seeds: ["localhost"]

storm.local.dir: "/tmp/storm"
在集群模式下提交Storm拓扑时,我也没有收到任何错误

知道拓扑喷口为什么不在集群模式下发送任何数据吗??
非常感谢您的帮助。

作为您的步骤,我不认为您在将拓扑提交到生产/群集模式之前启动了nimbus、supervisor、UI,然后在storm UI中验证此群集,如果有任何错误,还应检查日志文件


请共享此信息。

在向集群提交拓扑之前,您需要启动nimbus和supervior。
如果这样做了,你会在storm中找到logs文件夹。您可以从那里查看日志文件,然后继续。

谢谢大家提出的宝贵建议。
它正在工作。我在storm-1.0.0拓扑中使用的log4j logger API版本存在一些问题。该log4j在本地模式下没有引起任何问题,但在集群模式下引起了问题

@user2720864:我在整合storm 1.0.0与Elasticsearch和Kibana 5.2.2。但问题是storm 1.0.0使用的log4j版本与Elastic和Kibana不兼容。所以我手动更新了storm库文件夹中的log4j。简而言之,问题不在于我的storm配置,而在于我使用的Kibana版本和弹性搜索。