Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在hadoop集群上安装Kafka?_Hadoop_Apache Kafka - Fatal编程技术网

如何在hadoop集群上安装Kafka?

如何在hadoop集群上安装Kafka?,hadoop,apache-kafka,Hadoop,Apache Kafka,我想在HortonWorks Hadoop集群上安装最新版本的Kafka,该集群包含2个主节点、2个边缘节点和8个数据节点。计划在8个数据节点盒中的2个上安装Kafka。 卡夫卡每天需要处理多达数百万个事件,可能需要几批大小为0.5Gb-1.2Gb的文件 < P>问题:对数据节点或卡夫卡的任何特殊配置我需要考虑,以避免卡夫卡(或数据节点)的潜在性能恶化? Kafka通常是如何部署的(在专用机箱上还是可以在数据节点上运行)?您可以通过Ambari安装Kafka。 进入Ambari主页->点击操作(

我想在HortonWorks Hadoop集群上安装最新版本的Kafka,该集群包含2个主节点、2个边缘节点和8个数据节点。计划在8个数据节点盒中的2个上安装Kafka。 卡夫卡每天需要处理多达数百万个事件,可能需要几批大小为0.5Gb-1.2Gb的文件

< P>问题:对数据节点或卡夫卡的任何特殊配置我需要考虑,以避免卡夫卡(或数据节点)的潜在性能恶化?


Kafka通常是如何部署的(在专用机箱上还是可以在数据节点上运行)?

您可以通过Ambari安装Kafka。 进入Ambari主页->点击操作(左下)->点击“添加服务”->选择“卡夫卡”->选择节点->部署->完成。你的集群里有卡夫卡


您可以在“附录A”中看到屏幕截图,您可以通过Ambari安装kafka。 进入Ambari主页->点击操作(左下)->点击“添加服务”->选择“卡夫卡”->选择节点->部署->完成。你的集群里有卡夫卡


您可以在“附录A”中看到屏幕截图

它没有回答问题。这不是关于安装kafka的技术方法,而是关于hadoop/kafka共享集群中的最佳集群拓扑。@Arnaud-问题不清楚。如果您谈论kafka集群的最佳拓扑(在produciton中)-最好为kafka配备专用硬件,这样它就不会占用datanodes/Cotainer的资源并影响集群生产作业。可以很容易地放大/缩小专用硬件。您可以根据任何时间点的负载增加或删除kafka节点。希望这个帮助不会回答这个问题。这不是关于安装kafka的技术方法,而是关于hadoop/kafka共享集群中的最佳集群拓扑。@Arnaud-问题不清楚。如果您谈论kafka集群的最佳拓扑(在produciton中)-最好为kafka配备专用硬件,这样它就不会占用datanodes/Cotainer的资源并影响集群生产作业。可以很容易地放大/缩小专用硬件。您可以根据任何时间点的负载增加或删除kafka节点。希望这有帮助