Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如果我已经安装了Hadoop,我应该使用Hadoop还是不使用Hadoop下载ApacheSpark?_Apache Spark_Hadoop_Hadoop3 - Fatal编程技术网

Apache spark 如果我已经安装了Hadoop,我应该使用Hadoop还是不使用Hadoop下载ApacheSpark?

Apache spark 如果我已经安装了Hadoop,我应该使用Hadoop还是不使用Hadoop下载ApacheSpark?,apache-spark,hadoop,hadoop3,Apache Spark,Hadoop,Hadoop3,我已经安装了Hadoop 3.0.0。我现在应该安装hadoop版本的Apache Spark还是不安装hadoop版本的Apache Spark 下面是Apache Spark的入门介绍。 上面说 下载Apache Spark的最新版本(根据 您的Hadoop版本)来自以下链接: 但是我很困惑。如果我的机器上已经运行了一个Hadoop实例,然后我下载、安装并使用Hadoop运行Apache Spark,它会不会启动另一个Hadoop实例?首先,据我所知,Spark还不支持Hadoop 3。您会

我已经安装了
Hadoop 3.0.0
。我现在应该安装hadoop版本的Apache Spark还是不安装hadoop版本的Apache Spark

下面是Apache Spark的入门介绍。
上面说

下载Apache Spark的最新版本(根据 您的Hadoop版本)来自以下链接:


但是我很困惑。如果我的机器上已经运行了一个Hadoop实例,然后我下载、安装并使用Hadoop运行Apache Spark,它会不会启动另一个Hadoop实例?

首先,据我所知,Spark还不支持Hadoop 3。您会注意到这一点,因为“您的Hadoop版本”没有可供下载的选项

您可以尝试在spark-env.sh中设置
HADOOP\u CONF\u DIR
HADOOP\u HOME
,不管您下载的是哪一个

如果你已经有了Hadoop,你应该总是下载没有Hadoop的版本

它不会启动另一个Hadoop实例吗

不需要。您仍然需要显式配置并启动该版本的Hadoop


Spark选项已经配置为使用附带的Hadoop,我相信这是@cricket_007的答案之外的补充

如果您安装了Hadoop,请不要使用Hadoop下载spark,但是,由于任何版本的spark都不支持您的Hadoop版本,因此您需要下载使用Hadoop的版本。不过,您需要在机器上配置捆绑的Hadoop版本,以便Spark在其上运行。这意味着Hadoop 3上的所有数据都将丢失。因此,如果您需要这些数据,请在开始降级/重新配置之前备份这些数据。由于某些环境变量,我认为您无法在同一个系统上托管2个Hadoop实例