Apache spark 如何将具有范围值的行中的两列转换为基于范围的多个递增行

Apache spark 如何将具有范围值的行中的两列转换为基于范围的多个递增行,apache-spark,hive,hiveql,Apache Spark,Hive,Hiveql,一行中有两列具有范围值。例如:从\u系列:100和到\u系列:110。现在我需要将它们转换为多行 name value from_series to_series aaa 32 100 110 我需要按如下所示进行转换: name value series aaa 32 100 aaa 32 101 aaa 32 102 until 110 我认为这段代码应该在df是数据帧的地方使用 df.rdd.flatMap{row=&

一行中有两列具有范围值。例如:
从\u系列:100
到\u系列:110
。现在我需要将它们转换为多行

name value from_series to_series
 aaa  32      100        110
我需要按如下所示进行转换:

name value series
 aaa  32     100
 aaa  32     101
 aaa  32     102 until 110

我认为这段代码应该在df是数据帧的地方使用

  df.rdd.flatMap{row=>
    val name = row.getAs[String]("name")
    val value = row.getAs[Int]("value")
    val fromSeries = row.getAs[Int]("from_series")
    val toSeries = row.getAs[Int]("to_series")
    (fromSeries to toSeries).map(seriesValue=>(name,value,seriesValue))
    }

粘贴您试图解决的问题是什么