Apache spark 如何在没有Spark Rest API的情况下在Spark中侦听作业进度
我创建了自己的spark listener类，该类扩展了SparkListener。我已经覆盖了onJobStart和onJobEnd方法。但是找不到一种方法来取得工作进展。我想看看完成工作的百分比。我知道我可以通过Spark Rest API，但不幸的是我不能使用它。是否有其他方法可以获取作业进度百分比？每个作业都包含阶段，因此作业开始事件具有阶段信息。每个阶段都有numtask，因此您可以计算总共有多少任务，通过监听onTaskEnd/onStageCompleted，您可以跟踪作业进度。Hi，您可以分享您的spark listener实现吗Apache spark 如何在没有Spark Rest API的情况下在Spark中侦听作业进度,apache-spark,Apache Spark,我创建了自己的spark listener类，该类扩展了SparkListener。我已经覆盖了onJobStart和onJobEnd方法。但是找不到一种方法来取得工作进展。我想看看完成工作的百分比。我知道我可以通过Spark Rest API，但不幸的是我不能使用它。是否有其他方法可以获取作业进度百分比？每个作业都包含阶段，因此作业开始事件具有阶段信息。每个阶段都有numtask，因此您可以计算总共有多少任务，通过监听onTaskEnd/onStageCompleted，您可以跟踪作业进度。H