Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka AWS自动缩放组中的多区域apache kafka和zookeeper_Apache Kafka_Apache Zookeeper - Fatal编程技术网

Apache kafka AWS自动缩放组中的多区域apache kafka和zookeeper

Apache kafka AWS自动缩放组中的多区域apache kafka和zookeeper,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,我在网上搜索了一些架构,这些架构指向在AWS的多个区域的自动缩放组中设置ApacheKafka/zookeeper组合 有人能设置这样的东西吗?面临的任何挑战和解决这些挑战的办法。如果有,这种设置会带来哪些折衷 自动缩放的最大问题是能够动态更新配置文件。AWS也无法提供帮助,因为即使使用创建的网络接口(eni),在使用自动缩放组时,也无法控制启动配置以利用eni 另外,您如何管理更改的配置文件 只要有这些问题,没有其他我能想到的地方张贴这样的问题。如果这是错误的地方,请让我知道,并请建议一个地方

我在网上搜索了一些架构,这些架构指向在AWS的多个区域的自动缩放组中设置ApacheKafka/zookeeper组合

有人能设置这样的东西吗?面临的任何挑战和解决这些挑战的办法。如果有,这种设置会带来哪些折衷

自动缩放的最大问题是能够动态更新配置文件。AWS也无法提供帮助,因为即使使用创建的网络接口(eni),在使用自动缩放组时,也无法控制启动配置以利用eni

另外,您如何管理更改的配置文件

只要有这些问题,没有其他我能想到的地方张贴这样的问题。如果这是错误的地方,请让我知道,并请建议一个地方张贴这样的问题


谢谢

对于zookeeper来说,自动缩放不是一个好主意,对于卡夫卡经纪人来说,它也可能很棘手。但是,其他卡夫卡组件(如卡夫卡流)在自动缩放方面效果很好

Confluent提供了一些帮助工具,包括AWS云形成模板、自动数据平衡工具,以及许多关于如何设置AWS可用性区域(具有机架感知)和区域(具有Replicator)的建议

请参阅此博客,了解最佳实践


请参阅此部署模板快速入门

对于kafka代理,您所说的“棘手”是什么意思,但对于kafka streams,这是可能的?卡夫卡流不只是一种向卡夫卡代理读写数据的方式吗?broker和streams是卡夫卡的独立部分吗?我的意思是,不同的功能不是都捆绑在kafka集群中吗?没有kafka Streams都捆绑在Streams应用程序内部运行的库中。Streams应用程序远程连接到代理,并在不同的计算机上运行。Kafka Streams是为超简单的自动缩放而定义的,Streams应用程序通常作为微服务运行,可以根据需要增加或减少实例数量load@HansJespersen您能否参考一些资源,其中展示了如何使用流媒体功能跨多个或两个不同集群的地理位置进行复制?很好这里是关于DR复制的白皮书,这里是Confluent Replicator文档