Memory Spark：容器中没有足够的空间来缓存red，而总存储内存仍然很多

我有一个30节点的集群，每个节点有32核240 G内存（AWS cr1.8XL大型实例）。我有以下配置：

--driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90 

我可以从job tracker中看到，我仍然有很多总存储内存剩余，但在其中一个容器中，我收到了以下消息：存储限制=28.3 GB。我想知道这28.3 GB是从哪里来的？我对存储的记忆分数是0.45

我如何解决这个没有足够空间缓存rdd的问题？我应该做更多的分区还是更改默认并行性。。。因为我还有很多未使用的总存储内存。谢谢

15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_310 in memory! (computed 1326.6 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 4 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_136 in memory! (computed 1835.8 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 5 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 INFO executor.Executor: Finished task 136.0 in stage 12.0 (TID 85168). 1272 bytes result sent to driver

---

70克内存中只有一小部分可用于RDD存储。看到了，谢谢！如果当前执行者没有足够的内存，spark会把任务交给另一个执行者吗？或者只是失败了？好吧，因为没有一个执行者的内存会超过~28GB，而且至少有一个任务需要更多的内存，我猜您的作业最终会失败，或者可能会永远重试。我建议您尝试将

rdd

重新分区到更多分区中，以成功完成作业。如果我这样做，是否会有所帮助：内存和磁盘服务器2而不是所有内存？谢谢是的，那会有帮助的。