Apache spark Spark:如何增加从机中的驱动器大小
如何启动一个包含每个都有100GB驱动器的从机的群集Apache spark Spark:如何增加从机中的驱动器大小,apache-spark,amazon-ec2,ec2-ami,spark-ec2,Apache Spark,Amazon Ec2,Ec2 Ami,Spark Ec2,如何启动一个包含每个都有100GB驱动器的从机的群集 ./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ --zone=us-east-1b --spark-version=1.6.1 \ --vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \ launch cluster-test 我使用了一个100GB大小的AMI;然
./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
launch cluster-test
我使用了一个100GB大小的AMI;然而,Spark调整了它的大小,并启动了一个8GB的驱动器。如何将该限制提高到100GB?这解决了问题,但问题仍然在寻求一个答案,以避免首先出现此问题
原来EBS卷是100GB,但其上的映像只有8GB。这就是为什么它只被视为8GB。为了在磁盘上传播映像,本文详细介绍了如何执行此操作。此外,这也很有帮助