Apache spark 当我使用spark sql时,如何在程序中获取当前正在运行的作业信息
我使用Spark SQL运行许多Apache spark 当我使用spark sql时,如何在程序中获取当前正在运行的作业信息,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我使用Spark SQL运行许多SQL。我的目标是通过编程获取有关其状态的信息,包括它们是否正在运行、完成或失败,以及哪个sqls是当前处理 我尝试了Spark listener,但效果不太好,我无法使用onJobStart或onJobEnd获取当前正在运行的sql,还有其他方法吗? 下面是与我使用Spark SQL类似的代码 sqls = List(sql1, sql2, sql3,..,sqln) 在我的Spark计划中: sqls foreach { sql => s
SQL
。我的目标是通过编程获取有关其状态的信息,包括它们是否正在运行、完成或失败,以及哪个sqls
是当前处理
我尝试了Spark listener,但效果不太好,我无法使用onJobStart或onJobEnd获取当前正在运行的sql,还有其他方法吗?下面是与我使用Spark SQL类似的代码
sqls = List(sql1, sql2, sql3,..,sqln)
在我的Spark计划中:
sqls foreach {
sql =>
sparkSession.sql(sql)
}
你是怎么得出结论的,这些监听器不起作用的?你能用SparkListeners发布代码让我们理解吗?也许我用错了,告诉我它是如何工作的