Apache kafka 通过卡夫卡连接多个日志?

Apache kafka 通过卡夫卡连接多个日志?,apache-kafka,Apache Kafka,我有两种类型的日志 Http“获取”日志。存储UUID,原始HTTP请求+总处理时间。(存储在“日志”主题中,未键入) 来自应用程序的事件/命令日志。存储UUID+1请求生成的事件(存储在“事件”主题中,具有密钥) 加入这些人的最好方式是什么?我知道有很多平台可以做到这一点 我在想,首先我需要阅读“日志”主题,解析它,然后用正确的键将它存储回“解析”主题 将“事件”主题与“已解析”主题连接起来 此外,事件/命令(#2个日志)可能会在几天后出现(但多数情况下会在一分钟或两分钟内立即出现)。加入的目

我有两种类型的日志

  • Http“获取”日志。存储UUID,原始HTTP请求+总处理时间。(存储在“日志”主题中,未键入)
  • 来自应用程序的事件/命令日志。存储UUID+1请求生成的事件(存储在“事件”主题中,具有密钥)
  • 加入这些人的最好方式是什么?我知道有很多平台可以做到这一点

  • 我在想,首先我需要阅读“日志”主题,解析它,然后用正确的键将它存储回“解析”主题
  • 将“事件”主题与“已解析”主题连接起来

  • 此外,事件/命令(#2个日志)可能会在几天后出现(但多数情况下会在一分钟或两分钟内立即出现)。

    加入的目的是什么-是为了推动进一步的处理,还是为了分析

    由于您已经有了Apache Kafka中的数据,我建议您使用、和/或。KSQL运行在Kafka流之上。您可以使用这两种方法之一连接主题


    您也可以使用KSQL重新设置主题

    进一步处理。有一个包含所有日志和事件的文档以及一些分析。所以我想,我可以在一个ktable中创建一个json文档,并将其附加到ktable上,然后在某个地方存储最终文档?