Scala Spark在哪里存储其分析结果?
可以通过端口4040上的浏览器查看Spark程序的评测统计信息。但是,我运行它的集群没有浏览器,而且我不是管理员。这些信息是否也记录在某个文件中,以便我可以通过读取此类文件来制作自己的工具来可视化统计数据Scala Spark在哪里存储其分析结果?,scala,apache-spark,yarn,bigdata,Scala,Apache Spark,Yarn,Bigdata,可以通过端口4040上的浏览器查看Spark程序的评测统计信息。但是,我运行它的集群没有浏览器,而且我不是管理员。这些信息是否也记录在某个文件中,以便我可以通过读取此类文件来制作自己的工具来可视化统计数据 请注意,我在纱线上运行Spark。但有时我也使用本地独立模式运行。因此,任何与此相关的答案都将不胜感激。独立的Spark cluster?或者Thread/Mesos?我正在运行Spark over Thread。如果使用Thread,您可以访问ResourceManager应用程序历史记录。
请注意,我在纱线上运行Spark。但有时我也使用本地独立模式运行。因此,任何与此相关的答案都将不胜感激。独立的Spark cluster?或者Thread/Mesos?我正在运行Spark over Thread。如果使用Thread,您可以访问ResourceManager应用程序历史记录。显然,它没有给出与Spark UI相同的度量。但是,如果Spark电脑没有浏览器,那又有什么关系呢?从网络上的另一台计算机使用该计算机的IP/主机名我曾尝试使用它,但它试图保持连接。独立Spark cluster?或者Thread/Mesos?我正在运行Spark over Thread。如果使用Thread,您可以访问ResourceManager应用程序历史记录。显然,它没有给出与Spark UI相同的度量。但是,如果Spark电脑没有浏览器,那又有什么关系呢?从网络上的另一台计算机使用该计算机的IP/主机名我试图使用它,但它试图保持连接。