Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何以编程方式从spark web UI获取有关驱动程序日志和活动工作程序的信息_Apache Spark_Cluster Computing_Spark Ui_Spark Webui - Fatal编程技术网

Apache spark 如何以编程方式从spark web UI获取有关驱动程序日志和活动工作程序的信息

Apache spark 如何以编程方式从spark web UI获取有关驱动程序日志和活动工作程序的信息,apache-spark,cluster-computing,spark-ui,spark-webui,Apache Spark,Cluster Computing,Spark Ui,Spark Webui,有一个群集已成功启动。我可以在web UI上看到类似的信息,如下所示: URL: spark://Name2:7077 REST URL: spark://Name2:6066 (cluster mode) **Alive Workers: 10** Cores in use: 192 Total, 0 Used Memory in use: 364.0 GB Total, 0.0 B Used Applications: 0 Running, 5 Completed Drivers: 0 Ru

有一个群集已成功启动。我可以在web UI上看到类似的信息,如下所示:

URL: spark://Name2:7077
REST URL: spark://Name2:6066 (cluster mode)
**Alive Workers: 10**
Cores in use: 192 Total, 0 Used
Memory in use: 364.0 GB Total, 0.0 B Used
Applications: 0 Running, 5 Completed
Drivers: 0 Running, 5 Completed
**Status: ALIVE**
如何以编程方式获取有关驱动程序状态和活动工作人员数量的信息?这里我想要粗体的信息。 另外,如何以编程方式获取驱动程序日志? 任何帮助或建议都将是非常好的,因为我不知道如何才能做到这一点