Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么Spark Streaming中的新Kafka Direct Stream包含一系列主题?_Apache Spark_Apache Kafka_Spark Streaming - Fatal编程技术网

Apache spark 为什么Spark Streaming中的新Kafka Direct Stream包含一系列主题?

Apache spark 为什么Spark Streaming中的新Kafka Direct Stream包含一系列主题?,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,i、 e.KafkaUtils.createDirectStream 您不希望每个主题都有一个单独的数据流吗?我问这个问题是因为我目前有N个主题,每个主题都包含不同类型的数据(在本例中是不同类型的Protobuf对象)。显然,这是有意的,否则每个卡夫卡直接数据流都会将单个主题作为字符串。我错过了什么 谢谢 直接流允许您访问每个单独的topicpartition。因此,如果您有许多相关主题,具有相似但不完全相同的处理需求,那么您可以在单个流中轻松地处理它们

i、 e.KafkaUtils.createDirectStream

您不希望每个主题都有一个单独的数据流吗?我问这个问题是因为我目前有N个主题,每个主题都包含不同类型的数据(在本例中是不同类型的Protobuf对象)。显然,这是有意的,否则每个卡夫卡直接数据流都会将单个主题作为字符串。我错过了什么


谢谢

直接流允许您访问每个单独的topicpartition。因此,如果您有许多相关主题,具有相似但不完全相同的处理需求,那么您可以在单个流中轻松地处理它们