Apache spark 为什么spark应用程序在请求新执行人时会冻结？
火花与纱线新产品。我正在纱线（cloudera）上运行spark应用程序。一切正常，但如果我尝试缓存RDD，则作业会在处理过程中冻结 RDD占用了3GB的空间。我正试图找出如何解决这个问题。显然，一定有资源争用Apache spark 为什么spark应用程序在请求新执行人时会冻结？,apache-spark,yarn,cloudera,cloudera-cdh,Apache Spark,Yarn,Cloudera,Cloudera Cdh,火花与纱线新产品。我正在纱线（cloudera）上运行spark应用程序。一切正常，但如果我尝试缓存RDD，则作业会在处理过程中冻结 RDD占用了3GB的空间。我正试图找出如何解决这个问题。显然，一定有资源争用 16/05/17 19:49:41 INFO ExecutorAllocationManager: Requesting 16 new executors because tasks are backlogged (new desired total will be 72) 16/05/
16/05/17 19:49:41 INFO ExecutorAllocationManager: Requesting 16 new executors because tasks are backlogged (new desired total will be 72)
16/05/17 19:49:42 INFO ExecutorAllocationManager: Requesting 32 new executors because tasks are backlogged (new desired total will be 104)
16/05/17 19:49:43 INFO ExecutorAllocationManager: Requesting 64 new executors because tasks are backlogged (new desired total will be 168)
16/05/17 19:49:44 INFO ExecutorAllocationManager: Requesting 128 new executors because tasks are backlogged (new desired total will be 296)
16/05/17 19:49:45 INFO ExecutorAllocationManager: Requesting 172 new executors because tasks are backlogged (new desired total will be 468)
…它就挂在那里…如果没有代码，很难说发生了什么。但是，我猜程序只是没有时间运行缓存步骤。显然，您已经启用了动态分配，这允许驱动程序节点在需要时添加更多执行器。468个执行器必须是给定集群的最大值。在应用程序监视器中跟踪应用程序的进度可能很有用（）如果没有代码，很难说会发生什么。但是，我猜程序只是没有时间运行缓存步骤。显然，您已经启用了动态分配，这允许驱动程序节点在需要时添加更多执行器。468个执行器必须是给定集群的最大值。在应用程序监视器中跟踪应用程序的进度可能很有用（）