一些自动启动的Hadoop应用程序

我是Apache Hadoop的新手。我在AWS上安装了一组纱线，其中一个主纱线，两个从纱线。当我刚刚启动cluster Thread时，我可以观察到一些应用程序是由用户dr.who使用应用程序类型Thread自动启动的。这让我很烦恼。希望有人能帮我摆脱困境。谢谢

application_1531399885156_0041  dr.who  hadoop  YARN    default Thu Jul 12 14:58:37 +0200 2018  N/A ACCEPTED    UNDEFINED   ApplicationMaster   0

---

这是Hadoop最新发布中的一个已知错误，并且还创建了一个JIRA。dr.who提交的应用程序，当用户杀死所有作业时，节点管理器就会关闭

编辑：问题解决方案

问题由于默认用户dr.who的权限不正确，客户无法通过资源管理器UI查看日志

解决方案客户更改了core-site.xml中的以下属性以解决问题。其他值（如hdfs或mapred）也可以解决此问题。如果集群由Ambari管理，则应将其添加到Ambari>HDFS>Configurations>Advanced core site>Add Property中

hadoop.http.staticuser.user=yarn

同样的威胁也张贴在Hortonworks上，Sandeep Nemuri对此做出了回应，他写道：

停止进一步的攻击：

a。使用防火墙/IP表设置仅允许访问资源管理器端口的白名单IP地址（默认值8088）。在HA设置中的两个资源管理器上执行此操作。这只针对当前的攻击。要永久保护群集，必须阻止防火墙之外的所有HDP端点（例如WebHDF）的开放访问

b。确保集群安全（kerberized）

清除现有攻击：

a。如果您已经在集群中看到上述问题，请过滤所有名为“MyThread”的应用程序，并在验证这些应用程序不是由您自己的用户合法提交后将其杀死

b。您还需要手动登录集群计算机，并使用“z_2.sh”或“/tmp/java”或“/tmp/w.conf”检查任何进程，然后将其杀死

---

该线程的链接是：

我可以帮助您使用dr.who用户。它是纱线中的默认用户。如果没有用户提交作业，则显示为提交作业的Dr.。如果您查看Thread UI作业日志，这些作业在做什么？@Abhinav“没有用户”是什么意思？@cricket_007日志中没有任何内容。该url不可访问。其中一些人被杀了。Kill application application_1531401785430_0011从dr.who（auth:SIMPLE）@Guobao收到的我的意思是当Thread仅运行作业时，或者当Thread无法推断哪个用户提交了作业时，它仅显示dr.who作为其默认用户。谢谢您的回答。你知道我如何在JIRA中找到这个问题吗？我没有JIRA的链接，但我有这个问题的精确解决方案。我正在编辑这个问题