Apache spark 为什么Spark Streaming中的新Kafka Direct Stream包含一系列主题?
i、 e.KafkaUtils.createDirectStream 您不希望每个主题都有一个单独的数据流吗?我问这个问题是因为我目前有N个主题,每个主题都包含不同类型的数据(在本例中是不同类型的Protobuf对象)。显然,这是有意的,否则每个卡夫卡直接数据流都会将单个主题作为字符串。我错过了什么Apache spark 为什么Spark Streaming中的新Kafka Direct Stream包含一系列主题?,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,i、 e.KafkaUtils.createDirectStream 您不希望每个主题都有一个单独的数据流吗?我问这个问题是因为我目前有N个主题,每个主题都包含不同类型的数据(在本例中是不同类型的Protobuf对象)。显然,这是有意的,否则每个卡夫卡直接数据流都会将单个主题作为字符串。我错过了什么 谢谢 直接流允许您访问每个单独的topicpartition。因此,如果您有许多相关主题,具有相似但不完全相同的处理需求,那么您可以在单个流中轻松地处理它们
谢谢 直接流允许您访问每个单独的topicpartition。因此,如果您有许多相关主题,具有相似但不完全相同的处理需求,那么您可以在单个流中轻松地处理它们