Scala 在Spark CLI中初始化HiveContext

在命令行界面中初始化Spark时，默认情况下，SparkContext初始化为sc，SQLContext初始化为SQLContext

但是我需要HiveContext，因为我正在使用一个函数

collect\u list

，SparkContext不支持该函数，但HiveContext支持该函数。因为HiveContext是SparkContext的一个超类，所以它应该可以工作，但事实并非如此

---

如何使用Spark CLI在Scala中初始化HiveContext

sqlContext是一个HiveContext

scala> sqlContext
res11: org.apache.spark.sql.SQLContext = org.apache.spark.sql.hive.HiveContext@4756c8f3

[编辑]

在使用之前导入函数

import org.apache.spark.sql.functions._ 

---

sqlContext是一个HiveContext

scala> sqlContext
res11: org.apache.spark.sql.SQLContext = org.apache.spark.sql.hive.HiveContext@4756c8f3

[编辑]

在使用之前导入函数

import org.apache.spark.sql.functions._ 

---

在spark shell中，默认情况下sqlContext是HiveContext的一个实例。你可以在我之前的回答中看到这一点

然而，spark 1.5.2中没有收集列表。它是在spark 1.6中引入的，所以您可以找到它是正常的

参考：

---

另外，您不需要在shell中导入

org.apache.spark.sql.functions.

。默认情况下是导入的。

在spark shell中，默认情况下，sqlContext是HiveContext的一个实例。你可以在我之前的回答中看到这一点

然而，spark 1.5.2中没有收集列表。它是在spark 1.6中引入的，所以您可以找到它是正常的

参考：

---

另外，您不需要在shell中导入

org.apache.spark.sql.functions.

。默认情况下会导入它。

您可以按照以下步骤进行导入：

import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val depts = sqlContext.sql("select * from departments")`

---

您可以按照以下步骤执行此操作：

import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val depts = sqlContext.sql("select * from departments")`

---

错误：未找到：值collect\u list

这是我使用collect\u list功能后控制台所说的，您是否正确导入？导入org.apache.spark.functions.\u

scala>import org.apache.spark.functions.\uquo:31:错误：对象函数不是org.apache.spark import org.apache.spark.functions包的成员。^

如何更正此问题？请help@indian_authority你有哪种版本的spark？@elisah`\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\，_/_//\u/\\ uVersion 1.5.2/\ucode>

错误：未找到：值collect\u list

这是我使用collect\u list功能后控制台所说的，是否正确导入？导入org.apache.spark.functions.\u

scala>import org.apache.spark.functions.\uquo:31:错误：对象函数不是org.apache.spark import org.apache.spark.functions包的成员。^

如何更正此问题？请help@indian_authority你有哪一版本的spark？@elisah`\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\