Python 访问hadoop作业跟踪器ui
我正在尝试设置一个Python 访问hadoop作业跟踪器ui,python,hadoop,Python,Hadoop,我正在尝试设置一个hadoop集群。目前,我已经设置了一个主节点,并使用Python提交了一个MapReduce作业。 作业已提交,我可以在控制台中看到结果 现在,我试图查看job tracker web ui以查看作业属性,但不确定应该使用哪个端口 ipaddress:50070-显示所有名称节点和数据节点 ipaddress:8088-显示群集信息 我应该使用哪个端口查看作业跟踪器?我尝试了端口50030,但没有显示任何内容 使用hadoop 2.7.3版 我没有看到为mapreduce.f
hadoop集群
。目前,我已经设置了一个主节点,并使用Python提交了一个MapReduce作业。
作业已提交,我可以在控制台中看到结果
现在,我试图查看job tracker web ui以查看作业属性,但不确定应该使用哪个端口
ipaddress:50070
-显示所有名称节点和数据节点
ipaddress:8088
-显示群集信息
我应该使用哪个端口查看作业跟踪器?我尝试了端口50030,但没有显示任何内容
使用hadoop 2.7.3版
我没有看到为mapreduce.framework.name设置任何值,应该设置什么样的正确值才能在屏幕上显示
您没有看到它,因此它是默认值
属性mapreduce.framework.name
默认值:
local
描述:用于执行MapReduce作业的运行时框架。可以是
本地
、经典
或纱线
中的一种
您需要更新
mapred site.xml
,将该属性设置为warn
8088
is warn,这就是您需要的。您应该能够在8088
中查看所有应用程序!我可以访问8088,但我看不到控制台中提交的作业。您是否正在运行jobhistoryserver
?如果是,UI将默认在端口19888
中可用。你能在那里检查完成的申请吗?或者,工作是在当地提交的吗?在mapred site.xml
中为属性mapreduce.framework.name
设置的值是多少?如果未设置任何内容,则它将在本地运行作业,并且不会显示在UI中。