Apache spark Spark SQL函数用于计算重复次数
正在尝试使用spark sql实现以下任务 我有一个表,比如 我需要像这样的输出Apache spark Spark SQL函数用于计算重复次数,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,正在尝试使用spark sql实现以下任务 我有一个表,比如 我需要像这样的输出 1 1 has repeated for 3,3 has repeated for 3 times..... 2 2 has repeated for 3,3 has repeated for two times....... 最后,我使用第1行将数据分组,以获得相同的id scala> val data=rows.groupBy("row1")
1 1 has repeated for 3,3 has repeated for 3 times.....
2 2 has repeated for 3,3 has repeated for two times.......
最后,我使用第1行将数据分组,以获得相同的id
scala> val data=rows.groupBy("row1")
之后,我无法将行2拆分为“,”并计算每个值的出现次数
有人能帮忙吗?拆分和分解:
import org.apache.spark.sql.functions_
选择(列(“第1行”),分解(拆分(列(“第2行”),“,”))。别名(“第2行”))
.groupBy(“第1行”、“第2行”)。计数