zookeeper和Kafka在hadoop 2.6集群中的位置如何

Hadoop 2.6使用纱线作为下一代地图缩减器，也是集群管理器。我们还需要在Hadoop2.6中使用zookeeper来管理集群服务吗？我们如何设置zookeeper

如何为hadoop群集安装Kafka连接。kafka向hadoop文件系统发送数据的消费者和生产者是什么

它们都适合在哪里

我已经安装了Hadoop2.6单节点集群。接下来，我的理解是让zookeeper和Kafka将数据流传输到hadoop文件系统。

---

我不知道如何将kafka用于hadoop或其api。

kafka使用生产者/消费者的概念，生产者写入主题，消费者使用主题中的数据。每个使用者都可以使用该主题的任何可用分区中的数据

主题的使用者也在ZooKeeper中注册，以便相互协调并平衡数据的消耗

使用者跟踪他们在每个分区中消耗的最大偏移量。如果offset.storage=ZooKeeper，则此值存储在ZooKeeper目录中。该值存储在ZooKeeper目录中。

---

/使用者/[group\u id]/offset/[topic]/[broker\u id-partition\u id]->offset\u counter\u值（（持久节点）。有关在Kafka中使用zookeeper的更多信息，请参阅。zookeeper是分布式系统的协调框架。zookeeper用于协调HDFS和Yarn高可用性中的状态，协调Hbase主服务器和区域服务器等。 Kafka与ApacheStorm、ApacheHBase和ApacheSpark结合使用，用于流数据的实时分析和呈现。 常见用例包括：

流处理

网站活动跟踪

指标收集和监测

日志聚合

通常我们将Kafka与Storm一起使用。Storm需要一个zookeeper群集来协调nimbus和supervisor。Kafka需要zookeeper来存储有关群集状态和消费者偏移量的信息

zookeeper基本上提供了一个高可用的文件系统，用户/应用程序可以在其中读取/写入小数据。这些数据可能与通信或事务有关。由于文件系统是高可用的，因此通信将始终完成，不会进入部分或未知状态。zookeeper群集可以使用nd根据分区的数量（例如N）达到一定数量的故障，它可以容忍N-1个故障。

---

有关更多详细信息，您可以参考以下URL

如果kafka通常用于Storm，那么我应该在hadoop中使用什么