Apache storm Storm kafka Hortonworks实时数据流教程

阅读问题陈述后，欢迎提出任何想法

背景： 使用Apache Kafka发布消息： 卡夫卡经纪人正在运行。Kafka Producer是创建消息并将其发布到Kafka代理以供进一步使用的应用程序。因此，为了让卡夫卡消费者消费数据，卡夫卡主题需要在卡夫卡制作者和消费者开始发布消息和消费消息之前创建

卡夫卡测试成功，因为卡夫卡消费者能够使用卡夫卡主题中的数据并显示结果

在启动Storm topology之前，请停止Kafka使用者，以便Storm Spout能够处理来自Kafka主题的数据流源

使用Apache Storm实时处理数据： 创建Storm拓扑后，Storm Spout将处理数据流源，这意味着Spout将从kafka主题中读取数据。在另一端，Spoot将数据流传递给Storm Bolt，Storm Bolt处理并将数据创建为HDFS（文件格式）和HBase（db格式）以用于存储

动物园管理员znode缺少最后一个孩子znode。 从日志文件， 2015-05-20 04:22:43 b.s.util[ERROR]异步循环死机！ java.lang.RuntimeException:java.lang.RuntimeException:org.apache.zookeeper.KeeperException$NoNodeException:KeeperErrorCode=NoNode for/brokers/topics/TruckeEvent/partitions

Zookeeper是分发应用程序的协调服务。从zookeeper客户端，我们总是可以看到/brokers/topics/truckevent，但在运行storm时，最后一个znode总是丢失。如果我们手动创建znode，我成功地解决了这个问题。然而，相同的方法不再适用于后续测试

Storm（TrucjHBaseBolt是java类）无法访问到HBase表的连接。 从日志文件， 2015-05-20 04:22:51 c.h.t.t.TruckHBaseBolt[错误]检索连接和访问HBase表时出错

我已经在Hbase上手动创建了Hbase表作为数据格式。但是，检索到HBase的连接仍然失败

Storm（HdfsBolt java类）报告当Storm用户将数据写入hdfs时，权限被拒绝。 从日志文件， 2015-05-20 04:22:43 b.s.util[ERROR]异步循环死机！ java.lang.RuntimeException:准备HdfsBolt时出错：权限被拒绝：user=storm，access=WRITE，inode=“/”：hdfs:hdfs:drwxr-xr-x

---

任何人都可以在这方面提供帮助？

问题1的建议：

停止风暴。在storm运行的zookeeper中手动删除与主题相关的zNode，然后重新启动storm拓扑。 这将创建新的znode

---

问题2的建议：

首先使用java代码检查是否能够连接到Hbase。然后在Storm拓扑中测试相同的逻辑

问题3的答案：

根据您的日志user=storm，但您正在写入的目录归hdfs所有。因此，请更改该目录的用户权限，并使用chown命令将storm设置为用户