Python Spark在完成过程之前杀死执行器

我有一个用于频繁项集的spark应用程序。首先我得到所有不同的项，然后将它们配对。 项目数量相当大，我使用的是m4.Xlarge实例，内存为30GB

  l = l.map(lambda x:(x[1])).distinct()
  lbroadcast = spark.broadcast(l.collect())
  x = spark.parallelize(itertools.combinations(l.collect(),2)).filter(lambda x:randomTest(x,lbroadcast))
  print x.collect()

第158行的作业3是x，生成对并过滤广播中的对。最后的print语句不打印任何内容。 相同的代码在本地计算机上运行，但不在EMR实例上运行。 我认为这可能是RDD内存的问题。所有元组都存储在广播变量中

2003年12月16日19:24:26信息YarnScheduler:已从池中删除任务集18.0，其任务已全部完成

2003年12月16日19:24:26信息调度程序：结果阶段18（在/home/hadoop/t.py:158收集）在0.971秒内完成

16/12/03 19:24:26信息调度程序：作业3已完成：在/home/hadoop/t.py收集：158，耗时1.039357秒

16/12/03 19:24:28信息源客户端调度程序备份：请求终止执行器7

16/12/03 19:24:28信息执行器分配管理器：删除执行器7，因为它已空闲60秒（新的所需总数将为8）

2003年12月16日19:24:32信息YarnSchedulerBackend$YarnDriverEndpoint:禁用执行器7

2003年12月16日19:24:32信息调度程序：执行器丢失：7（纪元4）

---

16/12/03 19:24:32信息BlockManagerMasterEndpoint:正在尝试从BlockManagerMaster中删除executor 7。

您的m4.Xlarge群集有多少个节点？作为集群的可用内存，主节点不能将其内存写入，其他节点仅为每个节点分配16.5GB的内存以写入内存（至少在我的经验中，我不确定是否可以覆盖）。您是否可能低估了所需的资源量，从而导致溢出到节点磁盘上？我的第一反应是增加您尝试执行代码的节点数量，但这可能是因为如果无法查看所有日志，就很难判断问题所在。您的m4.Xlarge集群有多少节点？作为集群的可用内存，主节点不能将其内存写入，其他节点仅为每个节点分配16.5GB的内存以写入内存（至少在我的经验中，我不确定是否可以覆盖）。您是否可能低估了所需的资源量，从而导致溢出到节点磁盘上？我的第一反应是增加试图执行代码的节点数量，但这可能是因为如果看不到所有日志，就很难判断问题出在哪里。