Apache spark Kappa架构和简单使用流处理之间的区别是什么?

Apache spark Kappa架构和简单使用流处理之间的区别是什么?,apache-spark,bigdata,apache-flink,apache-storm,stream-processing,Apache Spark,Bigdata,Apache Flink,Apache Storm,Stream Processing,我想问你一个简单的问题。当我使用Kappa大数据架构时,它看起来是这样的: 但对我来说,它看起来完全一样,如果我只是使用一些流处理工具,并将处理后的结果保存到某个数据库中。那么它有什么不同呢? Kappa体系结构由两层组成:流处理和服务。流处理层运行流处理作业。通常,服务层用于查询结果 据我所知,您正在进行实时消息处理,并将结果存储在数据库中,以便进一步查询传入数据 在Lambda体系结构中,服务层负责查询批处理和速度(也称为流层)。但是在kappa中没有批处理层查询。只提供来自流(速度)层的

我想问你一个简单的问题。当我使用Kappa大数据架构时,它看起来是这样的:

但对我来说,它看起来完全一样,如果我只是使用一些流处理工具,并将处理后的结果保存到某个数据库中。那么它有什么不同呢?

Kappa体系结构由两层组成:流处理和服务。流处理层运行流处理作业。通常,服务层用于查询结果

据我所知,您正在进行实时消息处理,并将结果存储在数据库中,以便进一步查询传入数据

在Lambda体系结构中,服务层负责查询批处理和速度(也称为流层)。但是在kappa中没有批处理层查询。只提供来自流(速度)层的查询

如果是的话,你是在卡帕

Kappa架构和简单使用 流处理


速度层+服务层=Kappa架构(在您的情况下)

感谢您的回答。那么,在某种情况下,我会做一个经典的流处理,但不做Kappa架构吗?可能是kafka字数:-)只是校准结果,但每次我将处理后的数据存储在一个被查询的数据库中,它基本上是Kappa,对吗?是的。。。但也有一些要求,您将阅读一个卡夫卡主题,然后处理它并发布到另一个卡夫卡主题。这是没有查询的简单流处理的经典示例。kappa基本上支持对来自流应用程序的原始/接收数据进行查询,但lambda支持对批处理层和流层进行查询。