Apache spark 如何将Spark与HiveContext一起使用

我是spark的新手。我试图在spark SQL中使用HiveContext来访问窗口函数。但是当我给出这个时

import org.apache.spark.sql.hive.HiveContext

我得到以下错误：

错误：对象配置单元不是包org.apache.spark.sql的成员

我找到了需要在build.sbt文件中包含以下依赖项的解决方案

libraryDependencies+=“org.apache.spark”%%“spark配置单元”%%”1.5.2

但我不知道，我应该在spark的哪里找到这个build.sbt文件 如果我换衣服

/home/cloudera/spark-1.5.2/build/sbt

（或）

（或）

---

请帮助我在build.sbt文件中添加依赖项。

要使用配置单元支持构建Spark，无需对构建定义进行任何更改。只需确保激活所需的配置文件即可

• 马文

  mvn -Phive -Phive-thriftserver -DskipTests ... clean package
  

• SBT

  build/sbt -Phive -Phive-thriftserver ... assembly
  

只有在构建自己的项目时，才需要将

spark hive

添加为依赖项

---

另外，请注意，spark下载页面上提供的预构建（

spark-[spark-VERSION]-bin hadoop[hadoop-VERSION].tgz

文件）二进制文件已使用配置单元支持构建。

要使用配置单元支持构建spark，无需对构建定义进行任何更改。只需确保激活所需的配置文件即可

• 马文

  mvn -Phive -Phive-thriftserver -DskipTests ... clean package
  

• SBT

  build/sbt -Phive -Phive-thriftserver ... assembly
  

只有在构建自己的项目时，才需要将

spark hive

添加为依赖项

---

另外，请不要预先构建（

spark-[spark-VERSION]-bin-hadoop[hadoop-VERSION].tgz

文件）Spark下载页面上提供的二进制文件已使用配置单元支持构建。

那么，您正在尝试从头开始构建Spark？是的。我正在尝试从头开始构建它。但是在构建之前，我需要在build.sbt文件中添加依赖项。我应该从哪个文件夹获取Spark中的build.sbt文件？那么，您正在尝试从头开始构建Spark？是的。。我正在尝试从头开始构建它。但是在构建之前，我需要在build.sbt文件中添加依赖项。我应该从哪个文件夹在spark中获取build.sbt文件？谢谢您的回复。谢谢您的回复。