Scala Spark：如何告诉Spark使用本地hadoop而不是其嵌入式hadoop？

我在我的电脑上安装了hadoop（v2.8），它运行良好

x:conf techlead$ hadoop version
Hadoop 2.8.5
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
Compiled by jdu on 2018-09-10T03:32Z
Compiled with protoc 2.5.0
From source with checksum 9942ca5c745417c14e318835f420733
This command was run using /usr/local/Cellar/hadoop-2.8.5/share/hadoop/common/hadoop-common-2.8.5.jar

后来我安装了Spark并将其配置为使用Thread，但当我启动它时，它正在使用其嵌入式hadoop：

20/09/28 00:26:33 INFO repl.SparkILoop: Created spark context..
Spark context available as sc.
20/09/28 00:26:33 INFO hive.HiveContext: Initializing execution hive, version 1.2.1
20/09/28 00:26:33 INFO client.ClientWrapper: Inspected Hadoop version: 2.6.0
20/09/28 00:26:33 INFO client.ClientWrapper: Loaded org.apache.hadoop.hive.shims.Hadoop23Shims for Hadoop version 2.6.0

---

我在网上搜索了一下，但没有找到答案。hadoop和spark都在我的PC上以单节点模式运行，我想告诉spark使用我在PC上安装的hadoop（2.8.5），而不是嵌入式2.6.0。我还注意到它使用的scala版本与我在电脑上安装的版本也不一样。

Spark是用特定版本的Hadoop编译的。请参阅“hadoop.version”行。如果要将Spark与其他版本一起使用，则需要找到使用该版本Hadoop的Spark版本，或者使用所需版本重新编译。

您好，我的问题是如何将本地Hadoop用于Spark？我可以将hadoop更改为Spark需要的版本，但我如何指出Spark使用此hadoop？我的回答基本上是说“不”，因为Spark需要使用该版本编译才能兼容。因此，如果我理解正确，基本上是编译Spark的hadoop版本，与我集群上的实际hadoop版本无关？？在这种情况下，我如何确保这两个hadoop共享相同的底层API？如果您想让Spark使用集群上设置的HDFS，请参阅：