Apache spark apachespark驱动程序日志don';t指定阶段取消的原因

Apache spark apachespark驱动程序日志don';t指定阶段取消的原因,apache-spark,yarn,amazon-emr,Apache Spark,Yarn,Amazon Emr,我在AWS EMR上运行ApacheSpark。 集群有1个主服务器和10个执行器。 经过几个小时的处理,我的集群失败了,我去查看日志 所以,我看到所有正在工作的执行者都试图一次性终止任务(这是某个执行者的日志): 我知道原因是舞台取消了,但我不能得到任何细节。我看到驱动程序日志,发现它们的最后一条记录出现的时间要早得多 所以我有两个问题: 为什么驱动程序日志比执行程序日志短得多 我怎样才能知道舞台被取消的真正原因 20/03/05 00:02:12 INFO Executor: Execu

我在AWS EMR上运行ApacheSpark。 集群有1个主服务器和10个执行器。 经过几个小时的处理,我的集群失败了,我去查看日志

所以,我看到所有正在工作的执行者都试图一次性终止任务(这是某个执行者的日志):

我知道原因是舞台取消了,但我不能得到任何细节。我看到驱动程序日志,发现它们的最后一条记录出现的时间要早得多

所以我有两个问题:

  • 为什么驱动程序日志比执行程序日志短得多
  • 我怎样才能知道舞台被取消的真正原因
20/03/05 00:02:12 INFO Executor: Executor is trying to kill task 66.0 in stage 2.0 (TID 466), reason: Stage cancelled
20/03/05 00:02:12 INFO Executor: Executor is trying to kill task 65.0 in stage 2.0 (TID 465), reason: Stage cancelled
20/03/05 00:02:12 INFO Executor: Executor is trying to kill task 67.0 in stage 2.0 (TID 467), reason: Stage cancelled
20/03/05 00:02:12 INFO Executor: Executor is trying to kill task 64.0 in stage 2.0 (TID 464), reason: Stage cancelled
20/03/05 00:02:12 ERROR Utils: Aborting a task
20/03/04 18:39:40 INFO TaskSetManager: Starting task 159.0 in stage 1.0 (TID 359, ip-172-31-6-236.us-west-2.compute.internal, executor 40, partition 159, RACK_LOCAL, 8421 bytes)
20/03/04 18:39:40 INFO ExecutorAllocationManager: New executor 40 has registered (new total is 40)
20/03/04 18:39:41 INFO BlockManagerMasterEndpoint: Registering block manager ip-172-31-6-236.us-west-2.compute.internal:33589 with 2.8 GB RAM, BlockManagerId(40, ip-172-31-6-236.us-west-2.compute.internal, 33589, None)
20/03/04 18:39:42 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory on ip-172-31-6-236.us-west-2.compute.internal:33589 (size: 44.7 KB, free: 2.8 GB)
20/03/04 18:39:48 INFO BlockManagerInfo: Added broadcast_1_piece0 in memory on ip-172-31-6-236.us-west-2.compute.internal:33589 (size: 37.4 KB, free: 2.8 GB)