Apache spark spark-ec2--ebs卷大小不工作

当使用

spark-ec2

启动spark群集时，

--ebs vol size

标志似乎无效。将其设置为

50

或

500

，然后通过ssh连接到主节点，

df-h

在

/

上显示大约10G的空间

---

我如何使用

spark-ec2

创建更大的ec2虚拟机？

下面提供了一些对我有用的详细步骤列表-

使用--ebs vol size启动spark-ec2群集

关闭/短暂的hdfs上的hadoop

/短暂的hdfs/bin/stop-all.sh

在./persistent hdfs上启动hadoop

./persistent hdfs/bin/start-all.sh

您可以验证当前大小是否未反映请求的ebs vol大小

./persistent hdfs/bin/hadoop dfsadmin-报告

运行以下命令（建议将其放入脚本）并运行-

./persistent hdfs/bin/stop-all.sh

sed-i的#vol/persistent hdfs#vol0/persistent hdfs#g'~/persistent hdfs/conf/core-site.xml

./spark-ec2/copy-dir.sh~/persistent hdfs/conf/core-site.xml

./spark-ec2/copy-dir.sh~/persistent hdfs/conf/hdfs-site.xml

./persistent hdfs/bin/hadoop namenode-格式

./persistent hdfs/bin/start-all.sh

重复步骤4以验证尺寸

学分-

---

谢谢这个答案非常有用-不过有一件事-提供的链接中的gist参考已经更新，并且比上面提供的命令工作得更好-也许可以更新答案以显示更新的gist文件？