Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 在spark sql中找不到聚合函数_Scala_Apache Spark_Apache Spark Sql - Fatal编程技术网

Scala 在spark sql中找不到聚合函数

Scala 在spark sql中找不到聚合函数,scala,apache-spark,apache-spark-sql,Scala,Apache Spark,Apache Spark Sql,我是Spark的新手,我正在尝试利用一些聚合功能,如sum或avg。我在Spark shell中的查询非常有效: val somestats = pf.groupBy("name").agg(sum("days")).show() 当我试图从scala项目运行它时,它不起作用,抛出一条错误消息 not found: value sum 我试图补充一点 import sqlContext.implicits._ import org.apache.spark.SparkContext._ 就

我是Spark的新手,我正在尝试利用一些聚合功能,如sum或avg。我在Spark shell中的查询非常有效:

val somestats = pf.groupBy("name").agg(sum("days")).show()
当我试图从scala项目运行它时,它不起作用,抛出一条错误消息

not found: value sum
我试图补充一点

import sqlContext.implicits._
import org.apache.spark.SparkContext._
就在命令之前,但它没有帮助。我的spark版本是1.4.1。我缺少什么吗?

您需要此导入:

import org.apache.spark.sql.functions._

您可以直接在上使用sum方法(groupBy返回此类型)


是的,就是这样!我在spark sql文档中未找到有关此导入的任何信息。谢谢如何设置天数的别名?因为它返回sum(days)Find out,所以toDF()是选项,
rdd.toDF(“name”,“days”)
val somestats = pf.groupBy("name").sum("days").show()