Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Maven 本地Spark上的蜂巢-如何设置?_Maven_Apache Spark_Hive - Fatal编程技术网

Maven 本地Spark上的蜂巢-如何设置?

Maven 本地Spark上的蜂巢-如何设置?,maven,apache-spark,hive,Maven,Apache Spark,Hive,我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要使用HiveContext。我已经在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到了HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:------------ 我没有设置蜂箱。如何在本地将Spark与HiveContext一起使用?我找不到一个可以理解的指南,请帮助我 [编辑] 代码: 谢谢大家! 我最终使用了一个,因为Wind

我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要使用HiveContext。我已经在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到了HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:------------ 我没有设置蜂箱。如何在本地将Spark与HiveContext一起使用?我找不到一个可以理解的指南,请帮助我

[编辑] 代码:


谢谢大家!

我最终使用了一个,因为Windows显然不支持配置单元。

我最终使用了一个,因为Windows显然不支持配置单元。

您不需要配置单元就可以使用
org.apache.spark.sql.expressions.Window
显然,我需要HiveContext。它现在肯定不起作用,Spark正在查找配置单元文件夹。您应该发布代码。@我编辑了代码。您不需要配置单元来使用
org.apache.Spark.sql.expressions.Window
显然,我需要HiveContext来执行此操作。现在肯定不行,Spark正在查找配置单元文件夹。您应该发布代码。@Dikei编辑了代码。
WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);