Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark:如何增加从机中的驱动器大小_Apache Spark_Amazon Ec2_Ec2 Ami_Spark Ec2 - Fatal编程技术网

Apache spark Spark:如何增加从机中的驱动器大小

Apache spark Spark:如何增加从机中的驱动器大小,apache-spark,amazon-ec2,ec2-ami,spark-ec2,Apache Spark,Amazon Ec2,Ec2 Ami,Spark Ec2,如何启动一个包含每个都有100GB驱动器的从机的群集 ./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ --zone=us-east-1b --spark-version=1.6.1 \ --vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \ launch cluster-test 我使用了一个100GB大小的AMI;然

如何启动一个包含每个都有100GB驱动器的从机的群集

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test
我使用了一个100GB大小的AMI;然而,Spark调整了它的大小,并启动了一个8GB的驱动器。如何将该限制提高到100GB?

这解决了问题,但问题仍然在寻求一个答案,以避免首先出现此问题

原来EBS卷是100GB,但其上的映像只有8GB。这就是为什么它只被视为8GB。为了在磁盘上传播映像,本文详细介绍了如何执行此操作。此外,这也很有帮助