Apache spark 卡夫卡KTable的火花当量?
我们有一个KStream(来源于卡夫卡主题),其中包含如下消息:Apache spark 卡夫卡KTable的火花当量?,apache-spark,apache-kafka,Apache Spark,Apache Kafka,我们有一个KStream(来源于卡夫卡主题),其中包含如下消息: 较新的消息较旧的消息 我们将此KStream转换为KTable,以便为每个键提供最新值: KEY VALUE ------------- Key1 val11 Key2 val20 假设我的Spark流媒体应用程序可以使用相同的卡夫卡主题,我如何在Spark中做同样的事情?Spark没有这样的东西。您必须将所有执行器转储到一个数据库中,以消除密钥的重复。Spark没有这样的功能。您必须将所有执行器转储到对密
较新的消息较旧的消息 我们将此KStream转换为KTable,以便为每个键提供最新值:
KEY VALUE
-------------
Key1 val11
Key2 val20
假设我的Spark流媒体应用程序可以使用相同的卡夫卡主题,我如何在Spark中做同样的事情?Spark没有这样的东西。您必须将所有执行器转储到一个数据库中,以消除密钥的重复。Spark没有这样的功能。您必须将所有执行器转储到对密钥进行重复数据消除的数据库中。