使用spark-ec2更改hadoop版本

我想知道，当spark-ec2创建集群时，是否可以更改hadoop版本

我试过了

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster

然后我用

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster

发现hadoop的版本是1.0.4

我想使用2.x版的hadoop，最好的配置方法是什么？

hadoop 2.0

spark-ec2

脚本不支持修改现有集群，但您可以使用Hadoop 2创建一个新的spark集群

请参阅脚本的

--help

摘录：

  --hadoop-major-version=HADOOP_MAJOR_VERSION
                    Major version of Hadoop (default: 1)

例如：

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster

…将使用当前版本的Spark和Hadoop 2创建集群

如果你用Spark v。1.3.1或火花v。1.4.0，并将创建一个独立集群，然后您将通过这种方式获得（来自Cloudera Hadoop平台4.2.0发行版）

警告是：

• 此Hadoop版本尚不支持某些功能，因为存在bug-
• 虽然从理论上讲，Spark 1.4.0截至2015年6月其[尚未记录]以及我们尝试使用它的尝试都失败了

…但是我已经成功地使用了一些使用Hadoop 2.0.0创建的Spark 1.2.0和1.3.1集群，使用了一些Hadoop 2特有的功能。（对于Spark 1.2.0，我做了一些调整，将其放在和的分叉中，但这是另一个故事。）

Hadoop 2.4、2.6

---

如果您需要Hadoop 2.4或Hadoop 2.6，那么我目前（截至2015年6月）建议您手动创建一个独立的集群-这比您可能想象的要容易。

我认为这目前不受支持，尽管有一个.Hello Greg，你仍然不推荐使用spark-ec2脚本来启动hadoop 2.6吗？嗨@dirceusemighini！自2015年6月以来，我就没有做过这方面的工作，所以Spark v。1.4.0截至2016年3月，我们有v。1.6.1稳定，因此不幸的是，我目前没有最新的意见。