Apache spark 插入到配置单元表中时，火花过程永远不会结束

我试图通过Spark/Scala将一些行（500万行/2800列）附加到配置单元表中，但这个过程似乎在长时间后停止了。日志没有显示任何错误

我如何才能确保该流程确实在运行？ 是否需要采取措施优化工作

我的提交配置：

--驱动器存储器15g --执行器存储器30g --num执行人35 --执行器核心5

谢谢

---

---

你在用纱线吗？@Greg是的，我在用纱线。请检查SparkUI的executor thread dump，看看它可能正在打印一些日志。还要检查spark.DynamicLocation.enabled属性是否为true或false。尝试禁用。你在使用纱线吗？@Greg是的，我在使用纱线。请检查SparkUI的executor线程转储，看它是否正在打印一些日志。还要检查spark.DynamicLocation.enabled属性是否为true或false。尝试禁用。

 def exprToAppend(myCols: Set[String], allCols: Set[String]) = {
import org.apache.spark.sql.functions._
allCols.toList.map(x => x match {
case x if myCols.contains(x) => col(x)
case _ => lit(0d).as(x)
})
}


val insert : DataFrame = tableFinal.select(exprToAppend(tableFinal.columns.toSet, historico.columns.toSet):_ *).select(historico.columns.map(x => col(x)) :_*);

insert.write.mode("append")
.format("parquet")
.insertInto(s"${Configuration.SIGLA}${Configuration.TABLE_HIST}")