Amazon ec2 EC2上有火花，设备上没有剩余空间

我正在运行消耗50GB+的spark作业，我猜写入磁盘的无序操作会导致空间耗尽

我正在使用当前的Spark 1.6.0 EC2脚本构建集群，即将完成时出现以下错误：

16/03/16 22:11:16警告TaskSetManager:在第3.0阶段中丢失任务29948.1（TID 185427，ip-172-31-29-236.ec2.内部）：java.io.FileNotFoundException:/mnt/spark/spark-86d64093-d1e0-4f51-b5bc-e7eeffa96e82/executor-b13d39ba-0d17-428d-846a-B1F69C0EB6/blockmgr-12c0d9df-3654-4ff8-ba16-8ed36ca68612/29/shuffle_1瓼0.index.3065f0c8-2511-48ab-8bf0-d0f40ab524ba（设备上没有剩余空间）

我尝试过使用各种EC2类型，但它们似乎都只是在启动时挂载了8GB。执行

df-h

不会显示为

/mnt/spark

安装的任何其他存储，那么这是否意味着它只使用了剩下的一点点空间

我的

df-h

：

Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1      7.8G  4.1G  3.7G  53% /
devtmpfs         30G   56K   30G   1% /dev
tmpfs            30G     0   30G   0% /dev/shm

---

如何扩展磁盘空间？我已经基于Amazon默认的Spark one创建了我自己的AMI，因为我需要额外的软件包。

您将需要装载一个额外的卷，您的根卷将不会以合理的成本足够大。@b然后，argulies需要一种装载“暂存空间”的方法对于所有奴隶来说，这些新的卷是在/Mnt/火花的？如果真的是划痕空间，你可以考虑“短暂的体积”。我想是用cloudinit来挂载它们。