Apache kafka AWS MSK和Confluent Schema Registry以及Confluent Kafka connect建议如何一起使用?

Apache kafka AWS MSK和Confluent Schema Registry以及Confluent Kafka connect建议如何一起使用?,apache-kafka,confluent-platform,confluent-schema-registry,aws-msk,confluent-cloud,Apache Kafka,Confluent Platform,Confluent Schema Registry,Aws Msk,Confluent Cloud,我们计划将AWS MSK服务用于托管Kafka和Schema注册表,以及来自Confluent的Kafka Connect服务一起运行我们的连接器(Elasticsearch接收器连接器)。我们计划在EC2中运行模式注册表和连接器 根据Confluent团队的说法,如果我们对Kafka使用MSK,他们就不能正式支持Confluent Schema Registry和Kafka Connect 那么,任何人都可以分享他们的经验?喜欢 如果Anybuddy在生产环境中同时使用了MSK和融合服务的组合

我们计划将AWS MSK服务用于托管Kafka和Schema注册表,以及来自Confluent的Kafka Connect服务一起运行我们的连接器(Elasticsearch接收器连接器)。我们计划在EC2中运行模式注册表和连接器

根据Confluent团队的说法,如果我们对Kafka使用MSK,他们就不能正式支持Confluent Schema Registry和Kafka Connect

那么,任何人都可以分享他们的经验?喜欢 如果Anybuddy在生产环境中同时使用了MSK和融合服务的组合

使用这种组合有风险吗

是否建议使用此组合

如果我们将面临连接器的任何问题,合流社区如何支持

还有其他建议、意见或备选方案吗

我们已经拥有Confluent公司平台许可证,但我们希望管理Kafka服务,这就是为什么我们选择AWS MKS,因为根据我们的分析,它比Confluent Cloud更具成本效益

请提前分享您的想法和感谢


谢谢客观地回答你的问题这是可行的,但这取决于你的主要痛苦在哪里

从许可的角度来看,没有什么能强迫您仅使用Kafka Connect或Schema Registry就拥有合流订阅,因为它们分别基于Apache许可证2.0和合流社区许可证

从技术角度来看,您可以在EC2和上运行Kafka Connect和Schema Registry;只要它们与MSK集群在同一个VPC中运行,它们就能完美地工作

从成本角度来看,您必须评估由您和/或您的团队管理Kafka Connect和Schema Registry的成本。不仅要考虑安装和安装阶段,还要考虑管理和发展阶段。软件可能没有任何成本,但操作这些组件的努力可以转化为成本

如果我们将面临连接器的任何问题,合流社区如何支持

无论您是在ApacheKafka用户组或Confluent在Slack拥有的社区中寻求帮助,Kafka社区通常都非常有用。当然,这一切都是为了尽最大努力,你不能依靠他们来获得支持。可能需要几天时间,才会有好心人决定帮助你。这也转化为成本:降低和/或等待解决的成本是多少


我不再是一个合流的员工,因此我甚至不会试图说服你向他们购买。但您应该评估成本的这一组成部分,并检查使用Confluent Cloud是否不能为您提供更具成本效益的解决方案,因为它包括Kafka、Kafka Connect和Schema Registry的托管版本。根据我的经验,Confluent Cloud上的托管Kafka没有那么昂贵,托管模式注册表是“免费”的,但使用托管连接器的成本可能非常高,而且可能更糟,具体取决于您在托管连接器中配置的任务数。这是你唯一应该注意的问题。

如果MSK实际上比Confluent Cloud更便宜(就你所得到的而言),我会非常惊讶,因为Confluent Cloud提供了更多的服务和支持