Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/bash/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark SQL函数用于计算重复次数_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark Spark SQL函数用于计算重复次数

Apache spark Spark SQL函数用于计算重复次数,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,正在尝试使用spark sql实现以下任务 我有一个表,比如 我需要像这样的输出 1 1 has repeated for 3,3 has repeated for 3 times..... 2 2 has repeated for 3,3 has repeated for two times....... 最后,我使用第1行将数据分组,以获得相同的id scala> val data=rows.groupBy("row1")

正在尝试使用spark sql实现以下任务

我有一个表,比如

我需要像这样的输出

1               1 has repeated for 3,3 has repeated for 3 times.....
2               2 has repeated for 3,3 has repeated for two times.......
最后,我使用第1行将数据分组,以获得相同的id

scala> val data=rows.groupBy("row1")
之后,我无法将行2拆分为“,”并计算每个值的出现次数

有人能帮忙吗?

拆分和分解:

import org.apache.spark.sql.functions_
选择(列(“第1行”),分解(拆分(列(“第2行”),“,”))。别名(“第2行”))
.groupBy(“第1行”、“第2行”)。计数