Apache spark 如何监测纱线上的火花&x27；按应用程序id列出的进度？_Apache Spark

Apache spark 如何监测纱线上的火花&x27；按应用程序id列出的进度？

apache-spark

Apache spark 如何监测纱线上的火花&x27；按应用程序id列出的进度？,apache-spark,Apache Spark,我想监视斯帕克的任务。我使用了Thread resource manager rest api来获取spark应用程序的内存和vcores信息。但是我怎样才能获得进度信息呢我曾尝试使用Thread resource manager rest api，但spark on Thread的进度始终为10%。我也尝试过spark web ui rest api，但它只显示已完成、挂起和跳过的作业，不能显示所有作业现在我想用api来解决这个问题。我找到了JavaStatusTracker和齐柏林飞艇的

我想监视斯帕克的任务。我使用了Thread resource manager rest api来获取spark应用程序的内存和vcores信息。但是我怎样才能获得进度信息呢

我曾尝试使用Thread resource manager rest api，但spark on Thread的进度始终为10%。我也尝试过spark web ui rest api，但它只显示已完成、挂起和跳过的作业，不能显示所有作业

现在我想用api来解决这个问题。我找到了

JavaStatusTracker

和齐柏林飞艇的

JobProgressUtil

。但我不知道如何使用应用程序id来获得进度。

您应该通过REST设置apache livy跟踪spark进度。谢谢。我想试试这条路。但我希望这会使我的系统更加复杂，因为我需要维护一个额外的系统。我在REST中没有找到任何参数，如阶段、任务或进度。。你能再提醒我一次吗？这里有记录