Apache spark 在Dstream spark 1.6.0中使用一个分区获取RDD_Apache Spark_Apache Spark Sql_Spark Streaming_Rdd_Dstream

Apache spark 在Dstream spark 1.6.0中使用一个分区获取RDD

apache-spark

Apache spark 在Dstream spark 1.6.0中使用一个分区获取RDD,apache-spark,apache-spark-sql,spark-streaming,rdd,dstream,Apache Spark,Apache Spark Sql,Spark Streaming,Rdd,Dstream,我使用的是DStream和Spark版本是1.6.0。我在数据流数据上应用了foreachRDD，当我在foreachRDD中检查RDD的分区大小时，即使在应用map/filter/flatmap转换之后，它也只显示了1个分区，因为只有1个分区。持久化RDD后，Spark UI仅显示1个缓存分区我的疑问是，为什么即使在大型RDD上，我的RDD也没有划分为多个分区。我是否需要使用重新分区，或者是否有相应的配置

我使用的是DStream和Spark版本是1.6.0。我在数据流数据上应用了

foreachRDD

，当我在

foreachRDD

中检查RDD的分区大小时，即使在应用

map/filter/flatmap

转换之后，它也只显示了1个分区，因为只有1个分区。持久化RDD后，Spark UI仅显示1个缓存分区

我的疑问是，为什么即使在大型RDD上，我的RDD也没有划分为多个分区。我是否需要使用重新分区，或者是否有相应的配置