Maven 本地Spark上的蜂巢-如何设置?
我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要使用HiveContext。我已经在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到了HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:------------ 我没有设置蜂箱。如何在本地将Spark与HiveContext一起使用?我找不到一个可以理解的指南,请帮助我 [编辑] 代码:Maven 本地Spark上的蜂巢-如何设置?,maven,apache-spark,hive,Maven,Apache Spark,Hive,我在Windowsx64上本地安装了Spark,用于在推出之前测试我的Spark代码。我想使用窗口函数,但这需要使用HiveContext。我已经在Maven中设置了依赖项,但是当我在Spark上运行它时,我得到了HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:------------ 我没有设置蜂箱。如何在本地将Spark与HiveContext一起使用?我找不到一个可以理解的指南,请帮助我 [编辑] 代码: 谢谢大家! 我最终使用了一个,因为Wind
谢谢大家! 我最终使用了一个,因为Windows显然不支持配置单元。我最终使用了一个,因为Windows显然不支持配置单元。您不需要配置单元就可以使用
org.apache.spark.sql.expressions.Window
显然,我需要HiveContext。它现在肯定不起作用,Spark正在查找配置单元文件夹。您应该发布代码。@我编辑了代码。您不需要配置单元来使用org.apache.Spark.sql.expressions.Window
显然,我需要HiveContext来执行此操作。现在肯定不行,Spark正在查找配置单元文件夹。您应该发布代码。@Dikei编辑了代码。
WindowSpec window = Window.partitionBy(df.col("id")).orderBy(df.col("date").desc()).rowsBetween(0, 10);
Column col = avg(df.col("price")).over(window).as("price");
df = df.withColumn("price", price);