Scala agg count函数递归错误
我试图根据id/天的唯一组合筛选数据帧以查找重复项。为此,我编写了以下代码:Scala agg count函数递归错误,scala,apache-spark,Scala,Apache Spark,我试图根据id/天的唯一组合筛选数据帧以查找重复项。为此,我编写了以下代码: import org.apache.spark.sql.functions._ val count = equip .groupBy("cust_key", "Time_stamp") .agg(count(lit(1)).alias("count")).where("count">1) 但我有一个错误: 重新创建值计数需要类型 我还尝试了使用count(“cust_key”)代替lit(1),得到了
import org.apache.spark.sql.functions._
val count = equip
.groupBy("cust_key", "Time_stamp")
.agg(count(lit(1)).alias("count")).where("count">1)
但我有一个错误:
重新创建值计数需要类型
我还尝试了使用count(“cust_key”)代替lit(1),得到了相同的错误。我试着在这里查找,但我看到的答案大多是面向UDF的。我知道答案可能很简单,我会因为没有弄明白而感到很傻,但我无法让它工作。使用spark 2.0您是否可以尝试以下操作(使用
$
):
将变量
count
命名为其他名称?我认为它与count
函数冲突。或者,使用函数的完全限定名count
,这样它就不会与值count
冲突:.agg(org.apache.spark.sql.functions.count(lit(1)).alias(“count”)
import spark.implicits.StringToColumn
val count = equip
.groupBy("cust_key", "Time_stamp")
.agg(count(lit(1)).alias("count")).where($"count" > 1)