Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark结构化流媒体:为每个微批次使用来自Kafka的所有数据';s话题_Apache Spark_Apache Kafka_Spark Structured Streaming - Fatal编程技术网

Apache spark Spark结构化流媒体:为每个微批次使用来自Kafka的所有数据';s话题

Apache spark Spark结构化流媒体:为每个微批次使用来自Kafka的所有数据';s话题,apache-spark,apache-kafka,spark-structured-streaming,Apache Spark,Apache Kafka,Spark Structured Streaming,我不知道我是否在问自己问题的错误解决方案 我的想法是,我必须从卡夫卡那里使用来自两个主题的两个数据源。其中之一,每一个微批次都必须携带其所有内容物。例如,我每10分钟就有一个微批处理,随着卡夫卡自己添加的更新,这个话题也在不断增长。如果在第一个瞬间,从0到10,消费“A”和“B”,在下一个瞬间,从10到20,输入“C”,主题有“A”、“B”和“C”数据,我想消费“A”、“B”和“C”。目前,Spark计划返回 第0批:“A”和“B” 第1批:“C” 有什么想法吗 谢谢你抽出时间。您好,您的意思是

我不知道我是否在问自己问题的错误解决方案

我的想法是,我必须从卡夫卡那里使用来自两个主题的两个数据源。其中之一,每一个微批次都必须携带其所有内容物。例如,我每10分钟就有一个微批处理,随着卡夫卡自己添加的更新,这个话题也在不断增长。如果在第一个瞬间,从0到10,消费“A”和“B”,在下一个瞬间,从10到20,输入“C”,主题有“A”、“B”和“C”数据,我想消费“A”、“B”和“C”。目前,Spark计划返回

第0批:“A”和“B”

第1批:“C”

有什么想法吗


谢谢你抽出时间。您好,

您的意思是订阅多个主题吗?如果是这样,您可以将多个主题传递给subscribe选项:您的意思是订阅多个主题吗?如果是,您可以将多个主题传递给“订阅”选项: