Apache kafka 使用kafka streams基于elasticsearch事件创建表

Apache kafka 使用kafka streams基于elasticsearch事件创建表,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,是否可以使用Kafka流创建一个从Kafka主题读取JSON的管道,然后对其执行一些逻辑并将结果发送到另一个Kafka主题或其他内容 例如,我使用elasticsearch中的日志填充我的主题。使用简单的logstash管道非常容易 一旦我在kafka主题中有了我的日志,我想从日志中提取一些信息,并将它们放在一个有N列的“表”中(kafka能够做到这一点吗?),然后将表放在其他地方(另一个主题或db) 我没有找到任何符合我标准的例子 谢谢是的,这是可能的 卡夫卡或卡夫卡流中没有列的概念。但是,您

是否可以使用Kafka流创建一个从Kafka主题读取JSON的管道,然后对其执行一些逻辑并将结果发送到另一个Kafka主题或其他内容

例如,我使用elasticsearch中的日志填充我的主题。使用简单的logstash管道非常容易

一旦我在kafka主题中有了我的日志,我想从日志中提取一些信息,并将它们放在一个有N列的“表”中(kafka能够做到这一点吗?),然后将表放在其他地方(另一个主题或db)

我没有找到任何符合我标准的例子

谢谢

是的,这是可能的

卡夫卡或卡夫卡流中没有列的概念。但是,您通常只定义一个您选择的普通旧java对象,其中包含所需的字段(在本例中,字段相当于列)。以该格式生成输出主题的输出(使用适当选择的序列化程序)。最后,如果要将结果存储在关系数据库中,可以将字段映射到列中,通常使用kafka connect jdbc接收器:

请您将您所说的内容和示例张贴出来,好吗?谢谢这里有许多示例和演示应用程序。这对你来说可能是一个很好的起点@ennon。