Mapreduce 如何删除hadoop Hortonworks中被禁止的.users

Mapreduce 如何删除hadoop Hortonworks中被禁止的.users,mapreduce,hdfs,yarn,hadoop2,hortonworks-data-platform,Mapreduce,Hdfs,Yarn,Hadoop2,Hortonworks Data Platform,我有HDP Hortonworks 2.5.3群集,纱线中的MAPREDUCE作业失败,错误为: java.io.IOException:DistCp失败:作业作业_1498784032636_0015已完成 失败: 应用程序应用程序_149884032636_0015失败2次,原因是appattempt_149884032636_0015_000002的AM容器已与退出 exitCode:-1000有关更详细的输出,请查看应用程序 跟踪页面: 然后单击指向每次尝试日志的链接。诊断:应用程序 应

我有HDP Hortonworks 2.5.3群集,纱线中的MAPREDUCE作业失败,错误为:

java.io.IOException:DistCp失败:作业作业_1498784032636_0015已完成 失败: 应用程序应用程序_149884032636_0015失败2次,原因是appattempt_149884032636_0015_000002的AM容器已与退出 exitCode:-1000有关更详细的输出,请查看应用程序 跟踪页面: 然后单击指向每次尝试日志的链接。诊断:应用程序 应用程序_149884032636_0015初始化失败(exitCode=255) 提供了output:main:command 0 main:run as user是hdfs main :请求的纱线用户是hdfs请求的用户hdfs被禁止

后来我在谷歌上搜索到,似乎hdfs用户是被禁止的用户,根据每个节点上/etc/hadoop/conf/container-executor.cfg文件中的配置,文件内容如下:

yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred,bin
min.user.id=500
我已在所有节点(namenode、edge和data节点)中修改了该文件,如下所示:

yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
#banned.users=hdfs,yarn,mapred,bin
min.user.id=500
yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred,bin
min.user.id=500
并通过Ambari重新启动了HDFS、Thread和MapReduce2中的所有服务,重新启动后,我的作业出现了相同的错误,并检查了/etc/hadoop/conf/container-executor.cfg内容,将其重置为初始阶段,如下所示:

yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
#banned.users=hdfs,yarn,mapred,bin
min.user.id=500
yarn.nodemanager.local-dirs=/hadoop/yarn/local
yarn.nodemanager.log-dirs=/hadoop/yarn/log
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred,bin
min.user.id=500

您知道从禁止用户列表中删除用户的解决方案吗?

首先要注意的是,您不能评论
禁止的\u用户
行,而是在
禁止的\u用户
列表中设置正确的用户值。(即,如果您不想禁止用户
hdfs
,则将
禁止。用户=hdfs,纱线,映射红色,bin
更改为
禁止。用户=纱线,映射红色,bin
)。如果您评论
banked\u用户
列表,则默认情况下,hdfs、Thread和mapred将被禁止

另外,您可以按照下面给出的步骤将更改传播到所有节点

  • ​转到Ambari服务器节点 修改
    /var/lib/ambari server/resources/common services/thread//package/templates/container executor.cfg.j2
    以配置禁用用户

  • 重新启动Ambari服务器和所有Ambari代理


  • 感谢您的回复@Shubhangi。我已经修改了/var/lib/ambari服务器/resources/common services/warn//package/templates/container-executor.cfg.j2以及其他存在container-executor.cfg.j2的地方,比如/var/lib/ambari服务器/resources/stacks/HDP/2.0.6.GlusterFS/services/warn/package/templates/container-executor.cfg.j2,/var/lib/ambari-agent/cache/stacks/HDP/2.0.6.GlusterFS/services/thread/package/templates/container-executor.cfg.j2
    我已经重新启动了amabari代理、ambari服务器和服务,如-Thread、HDFS、Hive、MapReduce2。但仍然会出现相同的错误。下面是错误:有关更详细的输出,请查看应用程序跟踪页面:然后单击指向每次尝试日志的链接。诊断:应用程序_149996622021_0016初始化失败(exitCode=255),输出:main:提供的命令0 main:运行方式用户为hdfs main:请求的用户为hdfs请求的用户hdfs为bannedHanks进行更新,很遗憾,我无法测试解决方案,因为群集不再可用,我将测试和更新,如果我得到集群回来。非常感谢。