Apache kafka ECS&x2B；动物园管理员/卡夫卡-这行吗？

我以前从未使用过ZooKeeper/Kafka，所以如果我说的有什么地方不对，请随时更正

使用AWS ECS放大/缩小ZooKeeper/Kafka集群是个好主意吗？我不太确定这是怎么做到的，因为似乎没有太多的信息将两者结合在一起，所以我开始觉得这不是我应该做的事情

---

似乎没有办法将zookeeper副本自动添加到集群，而Kafka似乎也是如此（除非使用了MirrorMaker）。

zookeeper可以由for使用位置进行管理。将其组合成一个Docker图像，并将Amazon S3作为后端选项，您就可以开始了

Kafka有点复杂，因为每个节点都需要一个唯一的

broker.id

，您需要在管理这些代理时考虑故障和节点更换。此外，当一个新的

broker.id

被添加到集合中或从集合中删除时（即，当您向内或向外扩展时），您需要重新平衡主题分区。我强烈推荐关于自动缩放组中的

broker.id

管理主题的博客文章

请注意，这两个问题都与自动Kafka缩放有关，而不是使用亚马逊ECS本身。在Amazon ECS上的Docker容器中部署Kafka时有一些限制应该相当简单

---

我不确定MirrorMaker是否适合您的场景，但请记住，这只是另一个消费者-它与群集管理无关。

任何现有/新的Kafka实例如何知道所有ZooKeepers地址？@Ben：我建议在这种情况下研究服务发现，因为有许多选项可以构建它。我们目前正在使用一个本地

haproxy

实例，但是您可能也会生成一个常规的ELB。难道haproxy不更像是一个负载平衡解决方案吗？我更希望为Kafka提供一个动态服务发现解决方案（这样，如果ZooKeeper实例被添加/删除，它将动态地重新调整以适应这些设置）这一部分主要是保持某些接入点与当前集群状态同步——您需要自己提供，因为“管理”ZooKeeper集合（）不属于卡夫卡的职责范围。@Ben您解决过这个问题吗？你是如何处理广告中的主持人的？还有你用了什么图像？