Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/backbone.js/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 卡夫卡KTable的火花当量?_Apache Spark_Apache Kafka - Fatal编程技术网

Apache spark 卡夫卡KTable的火花当量?

Apache spark 卡夫卡KTable的火花当量?,apache-spark,apache-kafka,Apache Spark,Apache Kafka,我们有一个KStream(来源于卡夫卡主题),其中包含如下消息: 较新的消息较旧的消息 我们将此KStream转换为KTable,以便为每个键提供最新值: KEY VALUE ------------- Key1 val11 Key2 val20 假设我的Spark流媒体应用程序可以使用相同的卡夫卡主题,我如何在Spark中做同样的事情?Spark没有这样的东西。您必须将所有执行器转储到一个数据库中,以消除密钥的重复。Spark没有这样的功能。您必须将所有执行器转储到对密

我们有一个KStream(来源于卡夫卡主题),其中包含如下消息:
较新的消息较旧的消息

我们将此KStream转换为KTable,以便为每个键提供最新值:

KEY     VALUE 
-------------
Key1    val11
Key2    val20

假设我的Spark流媒体应用程序可以使用相同的卡夫卡主题,我如何在Spark中做同样的事情?

Spark没有这样的东西。您必须将所有执行器转储到一个数据库中,以消除密钥的重复。Spark没有这样的功能。您必须将所有执行器转储到对密钥进行重复数据消除的数据库中。