Amazon ec2 卡夫卡群集设置

我是卡夫卡科技的新手。 我已经使用Ambari设置了一个基本的单节点集群

我想了解生产服务器的推荐配置。假设在制作中，我将有5个主题，每个主题每天的流量在500000到50000000之间

我正在考虑使用EC2 r5.xlarge实例建立一个3-4节点的kafka集群

---

我对动物园管理员的部分感到困惑。我知道zookeeper需要奇数个节点，并且zookeeper安装在所有kafka节点上，那么如何使用偶数个节点运行kafka。如果这是真的，它将限制卡夫卡奇数个节点

真的需要在所有Kafka节点上安装Zookeeper吗。我可以在单独的节点上安装Zookeeper，在单独的节点上安装Kafka代理吗？如何安装

如果我想运行多个Kafka集群呢。是否可以通过单个Zookeeper集群管理多个Kafka集群，如果可能，如何管理

我最近才开始学习卡夫卡，如有任何帮助，将不胜感激

谢谢

我可以在单独的节点上安装Zookeeper，在单独的节点上安装Kafka代理吗？如何安装

你可以，如果你有可用的资源，你应该这样做

---

在奇数台服务器上运行

zookeeper服务器启动zookeeper.properties

。（对于较大的卡夫卡簇，最多5或7个）

在作为Kafka代理的每台其他机器上，而不是与Zookeeper相同的服务器上，编辑

server.properties

以指向

Zookeeper.connect

属性的Zookeeper机器地址集

然后为每个新的卡夫卡代理执行

kafka服务器启动server.properties

从那里，您可以独立于Zookeeper缩放卡夫卡

是否可以通过单个Zookeeper集群管理多个Kafka集群

查一下动物园管理员的名字

一个卡夫卡集群将被定义为

zoo1:2181/kafka1

等一下

zoo1:2181/kafka2

如果机器不应该在同一个卡夫卡集群中，请小心不要将它们混淆

---

您可以在Github上的云中找到各种CloudFormation、Terraform或Ansible Repo，用于以分布式方式设置Kafka，或者如果您熟悉Kubernetes，也可以选择Kubernetes

我可以在单独的节点上安装Zookeeper，在单独的节点上安装Kafka代理吗？如何安装

你可以，如果你有可用的资源，你应该这样做

---

在奇数台服务器上运行

zookeeper服务器启动zookeeper.properties

。（对于较大的卡夫卡簇，最多5或7个）

在作为Kafka代理的每台其他机器上，而不是与Zookeeper相同的服务器上，编辑

server.properties

以指向

Zookeeper.connect

属性的Zookeeper机器地址集

然后为每个新的卡夫卡代理执行

kafka服务器启动server.properties

从那里，您可以独立于Zookeeper缩放卡夫卡

是否可以通过单个Zookeeper集群管理多个Kafka集群

查一下动物园管理员的名字

一个卡夫卡集群将被定义为

zoo1:2181/kafka1

等一下

zoo1:2181/kafka2

如果机器不应该在同一个卡夫卡集群中，请小心不要将它们混淆

---

您可以在Github上的云中找到各种CloudFormation、Terraform或Ansible Repo，用于以分布式方式设置Kafka，或者如果您熟悉Kubernetes，也可以选择Kubernetes

我对动物园管理员的部分感到困惑。我了解动物园管理员

---

需要奇数个节点，所有卡夫卡上都安装了zookeeper 节点，那么如何使用偶数个节点运行Kafka。如果这是 如果为true，则卡夫卡的节点数也将限制为奇数

Zookeeper可以，但不必安装在与kafka相同的服务器上。它不需要在奇数个节点上运行zookeeper，只是非常好的推荐

真的需要在所有Kafka节点上安装Zookeeper吗。我可以吗 在单独的节点上安装Zookeeper，在单独的节点上安装Kafka代理 节点，如何

这不是必需的，最好不要让zookeeper和kafka在同一台服务器上。在另一台服务器上安装zookeeper与在同一台服务器上安装zookeeper非常相似。每个kafka代理都需要具有指向所有zookeeper节点的zookeeper.connect设置

如果我想运行多个Kafka集群呢。有可能吗 如何通过单个Zookeeper群集管理多个Kafka群集 如果可能的话

这是可能的。在这种情况下，建议将服务器专用于zookeeper集成。在这种情况下，在zookeeper.connect设置中，您应该使用hostname:port/path，而不是hostname:port

我对动物园管理员的部分感到困惑。我了解动物园管理员

---

需要奇数个节点，所有卡夫卡上都安装了zookeeper 节点，那么如何使用偶数个节点运行Kafka。如果这是 如果为true，则卡夫卡的节点数也将限制为奇数

Zookeeper可以，但不必安装在与kafka相同的服务器上。它不需要在奇数个节点上运行zookeeper，只是非常好的推荐

真的需要在所有Kafka节点上安装Zookeeper吗。我可以吗 在单独的节点上安装Zookeeper，在单独的节点上安装Kafka代理 节点，如何

这不是必需的，最好不要让zookeeper和kafka在同一台服务器上。在另一台服务器上安装zookeeper与在同一台服务器上安装zookeeper非常相似。每个kafka代理都需要具有指向所有zookeeper节点的zookeeper.connect设置

如果我想运行多个Kafka集群呢。有可能吗 如何通过单个Zookeeper群集管理多个Kafka群集 如果可能的话

---

这是可能的。在这种情况下，建议将服务器专用于zookeeper集成。在这种情况下，在zookeeper.connect设置中，您应该使用hostname:port/path，而不是hostname:port。

“zookeeper安装在所有kafka节点上