Java K从一个群集到多个群集的数据流

我需要在Kafka集群中有一个java模块来获取消息，根据消息的两个字段，它将被充实并发布到另一个Kafka集群。我一直在研究KStream API，我无法找到一种不使用publisher库就将内容发送到另一个集群的方法

有什么想法吗？我该怎么做

谢谢

我需要在Kafka集群中有一个java模块来获取消息，根据消息的两个字段，它将被充实并发布到另一个Kafka集群。我一直在研究KStream API，我无法找到一种不使用publisher库就将内容发送到另一个集群的方法

目前，Kafka的Streams API一次只能与一个给定集群交互。也就是说，您不能使用Streams API从Kafka集群A读取数据，然后再写入Kafka集群B

有什么想法吗？我该怎么做

因此，我建议使用卡夫卡连接。Kafka的最新版本包括Kafka Connect中的所谓功能，您可以使用该功能来路由消息

如果您愿意使用商业工具，则允许您执行上述Hans Jespersen提到的跨集群数据流

---

一个很好的高层次起点应该是《不要被标题吓倒的演讲》：-p作者Ewen Cheslack Postava，开发新SMT功能的卡夫卡提交者之一。卡夫卡连接中还有一个简单介绍SMT的工具。

您应该查看卡夫卡连接，并利用允许过滤消息的单个消息转换。我同意Matthias的观点。由于Confluent Replicator是一个Kafka连接器，因此您甚至可以在同样的工具中正确执行SMT，该工具也可以从一个群集复制到另一个群集，而不是使用Mirror Maker，因为Mirror Maker不会在复制数据时对其进行过滤、转换/充实感谢提示！今天我将做一些测试，让您知道我还没有找到一个好的方法来使用SMT来处理这个案例，因为SMT等待转换并期望返回一个记录，我想使用它们并擦除它们。我正在为kafka connect实现一个连接器/插件实现SinkConnector，我必须浏览一下消息列表，但似乎更适合这个用例。