Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 当我使用spark sql时,如何在程序中获取当前正在运行的作业信息_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark 当我使用spark sql时,如何在程序中获取当前正在运行的作业信息

Apache spark 当我使用spark sql时,如何在程序中获取当前正在运行的作业信息,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我使用Spark SQL运行许多SQL。我的目标是通过编程获取有关其状态的信息,包括它们是否正在运行、完成或失败,以及哪个sqls是当前处理 我尝试了Spark listener,但效果不太好,我无法使用onJobStart或onJobEnd获取当前正在运行的sql,还有其他方法吗? 下面是与我使用Spark SQL类似的代码 sqls = List(sql1, sql2, sql3,..,sqln) 在我的Spark计划中: sqls foreach { sql => s

我使用Spark SQL运行许多
SQL
。我的目标是通过编程获取有关其状态的信息,包括它们是否正在运行、完成或失败,以及哪个
sqls
是当前处理

我尝试了Spark listener,但效果不太好,我无法使用onJobStart或onJobEnd获取当前正在运行的sql,还有其他方法吗?
下面是与我使用Spark SQL类似的代码

sqls = List(sql1, sql2, sql3,..,sqln)
在我的Spark计划中:

sqls foreach {
  sql =>
     sparkSession.sql(sql)
}

你是怎么得出结论的,这些监听器不起作用的?你能用SparkListeners发布代码让我们理解吗?也许我用错了,告诉我它是如何工作的