Apache spark 当执行器数量增加时，纱线上的spark sql挂起-v1.3.0
我正在配置单元表上运行spark sql 使用以下参数启动spark shell时，它会成功运行 “--驱动程序内存8G--执行器内存10G--执行器核心1--执行器数量30” 但是，当启动spark shell时，作业将挂起 “--驱动程序内存8G--执行器内存10G--执行器内核1--num executors 40” 区别仅在于执行者的数量（30对40） 在第二种情况下，我看到每个执行器上有1个活动任务，但它没有运行。我没有在spark shell上看到任何“任务已完成”消息 作业已成功运行，执行者数低于30 我的纱线簇有42个节点，每个节点30个芯，每个节点大约50克内存 有什么指向我要去看的地方的指示吗 我比较了两次运行的调试级别日志，似乎挂起的运行没有任何这样的日志行。好的运行有一堆这样的线路 org.apache.spark.storage.BlockManager logDebug-块广播的级别\u 0\u piece0是存储级别（真、真、假、假、1）Apache spark 当执行器数量增加时，纱线上的spark sql挂起-v1.3.0,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我正在配置单元表上运行spark sql 使用以下参数启动spark shell时，它会成功运行 “--驱动程序内存8G--执行器内存10G--执行器核心1--执行器数量30” 但是，当启动spark shell时，作业将挂起 “--驱动程序内存8G--执行器内存10G--执行器内核1--num executors 40” 区别仅在于执行者的数量（30对40） 在第二种情况下，我看到每个执行器上有1个活动任务，但它没有运行。我没有在spark shell上看到任何“任务已完成”消息 作业已成功运
“org.apache.spark.storage.BlockManager logDebug-块广播的级别为StorageLevel（真、真、假、真、1）”这是因为类路径问题，我包含了一些旧版本的依赖项，删除这些依赖项后不再导致问题