Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/excel/26.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop HDP2.5:Spark History Server UI赢得';不要显示不完整的应用程序_Hadoop_Apache Spark_Yarn_Hortonworks Data Platform - Fatal编程技术网

Hadoop HDP2.5:Spark History Server UI赢得';不要显示不完整的应用程序

Hadoop HDP2.5:Spark History Server UI赢得';不要显示不完整的应用程序,hadoop,apache-spark,yarn,hortonworks-data-platform,Hadoop,Apache Spark,Yarn,Hortonworks Data Platform,我用Hortonworks数据平台2.5建立了一个新的Hadoop集群。在“旧”集群(已安装HDP 2.4)中,我可以通过单击链接显示未完成的应用程序,通过历史服务器UI查看有关运行Spark作业的信息: 在新安装中,此链接将打开页面,但它始终表示未找到不完整的应用程序(当应用程序仍在运行时) 我刚刚看到,Thread ResourceManager UI在“跟踪UI”列中显示了两种不同类型的链接,具体取决于Spark应用程序的状态: 正在运行的应用程序:应用程序主机 此链接将打开 申

我用Hortonworks数据平台2.5建立了一个新的Hadoop集群。在“旧”集群(已安装
HDP 2.4
)中,我可以通过单击链接
显示未完成的应用程序,通过历史服务器UI查看有关运行Spark作业的信息:

在新安装中,此链接将打开页面,但它始终表示未找到不完整的应用程序(当应用程序仍在运行时)

我刚刚看到,
Thread ResourceManager UI
在“跟踪UI”列中显示了两种不同类型的链接,具体取决于Spark应用程序的状态:

  • 正在运行的应用程序:应用程序主机
    • 此链接将打开
  • 申请完成:历史
    • 此链接将打开

通过Thread RM链接,我可以看到正在运行的Spark应用程序信息,但为什么我不能通过Spark History Server UI访问它们?从HDP2.4到2.5有什么变化吗?

我解决了它,这是一个网络问题:由于交换机配置不正确,一些群集主机(Spark从属)无法相互联系。当我试着从每个主机上ping对方时,我发现了这一点

因为所有主机都可以相互ping主机,所以问题消失了,我可以在Spark History server UI中再次看到活动和完成的作业


我没有注意到这个问题,因为ambari代理在每台主机上工作,而且每个集群主机也可以访问ambari服务器!但是,由于所有主机都可以相互联系,问题就解决了

我解决了这个问题,这是一个网络问题:由于交换机配置不正确,一些群集主机(Spark Slave)无法相互联系。当我试着从每个主机上ping对方时,我发现了这一点

因为所有主机都可以相互ping主机,所以问题消失了,我可以在Spark History server UI中再次看到活动和完成的作业

我没有注意到这个问题,因为ambari代理在每台主机上工作,而且每个集群主机也可以访问ambari服务器!但是,由于所有主机都可以相互联系,问题就解决了