Apache spark 如果我已经安装了Hadoop,我应该使用Hadoop还是不使用Hadoop下载ApacheSpark?
我已经安装了Apache spark 如果我已经安装了Hadoop,我应该使用Hadoop还是不使用Hadoop下载ApacheSpark?,apache-spark,hadoop,hadoop3,Apache Spark,Hadoop,Hadoop3,我已经安装了Hadoop 3.0.0。我现在应该安装hadoop版本的Apache Spark还是不安装hadoop版本的Apache Spark 下面是Apache Spark的入门介绍。 上面说 下载Apache Spark的最新版本(根据 您的Hadoop版本)来自以下链接: 但是我很困惑。如果我的机器上已经运行了一个Hadoop实例,然后我下载、安装并使用Hadoop运行Apache Spark,它会不会启动另一个Hadoop实例?首先,据我所知,Spark还不支持Hadoop 3。您会
Hadoop 3.0.0
。我现在应该安装hadoop版本的Apache Spark还是不安装hadoop版本的Apache Spark
下面是Apache Spark的入门介绍。上面说 下载Apache Spark的最新版本(根据 您的Hadoop版本)来自以下链接:
但是我很困惑。如果我的机器上已经运行了一个Hadoop实例,然后我下载、安装并使用Hadoop运行Apache Spark,它会不会启动另一个Hadoop实例?首先,据我所知,Spark还不支持Hadoop 3。您会注意到这一点,因为“您的Hadoop版本”没有可供下载的选项 您可以尝试在spark-env.sh中设置
HADOOP\u CONF\u DIR
和HADOOP\u HOME
,不管您下载的是哪一个
如果你已经有了Hadoop,你应该总是下载没有Hadoop的版本
它不会启动另一个Hadoop实例吗
不需要。您仍然需要显式配置并启动该版本的Hadoop
Spark选项已经配置为使用附带的Hadoop,我相信这是@cricket_007的答案之外的补充 如果您安装了Hadoop,请不要使用Hadoop下载spark,但是,由于任何版本的spark都不支持您的Hadoop版本,因此您需要下载使用Hadoop的版本。不过,您需要在机器上配置捆绑的Hadoop版本,以便Spark在其上运行。这意味着Hadoop 3上的所有数据都将丢失。因此,如果您需要这些数据,请在开始降级/重新配置之前备份这些数据。由于某些环境变量,我认为您无法在同一个系统上托管2个Hadoop实例