Apache spark 如何将具有范围值的行中的两列转换为基于范围的多个递增行
一行中有两列具有范围值。例如:Apache spark 如何将具有范围值的行中的两列转换为基于范围的多个递增行,apache-spark,hive,hiveql,Apache Spark,Hive,Hiveql,一行中有两列具有范围值。例如:从\u系列:100和到\u系列:110。现在我需要将它们转换为多行 name value from_series to_series aaa 32 100 110 我需要按如下所示进行转换: name value series aaa 32 100 aaa 32 101 aaa 32 102 until 110 我认为这段代码应该在df是数据帧的地方使用 df.rdd.flatMap{row=&
从\u系列:100
和到\u系列:110
。现在我需要将它们转换为多行
name value from_series to_series
aaa 32 100 110
我需要按如下所示进行转换:
name value series
aaa 32 100
aaa 32 101
aaa 32 102 until 110
我认为这段代码应该在df是数据帧的地方使用
df.rdd.flatMap{row=>
val name = row.getAs[String]("name")
val value = row.getAs[Int]("value")
val fromSeries = row.getAs[Int]("from_series")
val toSeries = row.getAs[Int]("to_series")
(fromSeries to toSeries).map(seriesValue=>(name,value,seriesValue))
}
粘贴您试图解决的问题是什么