Apache spark Windows上的spark shell错误-如果不使用hadoop，可以忽略它吗？

我在启动火花壳时出现以下错误。我将使用Spark在SQL Server中处理数据。我可以忽略错误吗

java.io.IOException:在Hadoop二进制文件中找不到可执行文件null\bin\winutils.exe

java.lang.IllegalArgumentException:实例化“org.apache.spark.sql.hive.HiveSessionState”时出错

原因：java.lang.reflect.InvocationTargetException:java.lang.IllegalArgumentException:实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错：

原因：java.lang.IllegalArgumentException:实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错

原因：java.lang.IllegalArgumentException:实例化“org.apache.spark.sql.hive.HiveExternalCatalog”时出错

原因：java.lang.reflect.InvocationTargetException:java.lang.reflect.InvocationTargetException:java.lang.RuntimeException:java.lang.RuntimeException:运行获取文件权限的命令时出错：java.io.IOException:（null）命令字符串中的条目：null ls-F C:\tmp\hive

原因：java.lang.reflect.InvocationTargetException:java.lang.RuntimeException:java.lang.RuntimeException:运行获取文件权限的命令时出错：java.io.IOException:（null）命令字符串中的条目：null ls-F C:\tmp\hive

原因：java.lang.RuntimeException:java.lang.RuntimeException:运行命令获取文件权限时出错：java.io.IOException:（null）命令字符串中的条目：null ls-F C:\tmp\hive

---

tl；dr你宁愿不要

嗯，这是可能的，但考虑到你刚刚开始前往Spark的土地的旅程，你的努力不会有回报

---

Windows对我来说从来都不是一个对开发人员友好的操作系统，每当我教人们Spark和他们使用Windows时，我都会想当然地认为我们必须通过

winutils.exe

设置，但很多时候我们还需要知道如何在命令行上工作

---

请按如下方式安装

winutils.exe

：

以管理员身份运行

cmd

从存储库下载winutils.exe二进制文件（使用）

将winutils.exe二进制文件保存到您选择的目录中，例如

c:\hadoop\bin

将HADOOP_HOME设置为使用winutils.exe反映目录（不带

bin

），例如

Set HADOOP_HOME=c:\HADOOP

将PATH环境变量设置为包含

%HADOOP\u HOME%\bin

创建

c:\tmp\hive

目录

执行

winutils.exe chmod-R 777\tmp\hive

打开

spark shell

并运行

spark.range（1）。显示
以查看单行数据集

---

可能重复感谢它的工作！不幸的是，我们的IT没有提供Linux开发PC。这些步骤应该在官方文档中。