Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 模拟oozie作业-权限问题_Hadoop_Hive_Yarn_Oozie - Fatal编程技术网

Hadoop 模拟oozie作业-权限问题

Hadoop 模拟oozie作业-权限问题,hadoop,hive,yarn,oozie,Hadoop,Hive,Yarn,Oozie,我正在尝试执行bash脚本,该脚本包含使用ozzie的多个配置单元命令,并且我获得了安全异常(权限被拒绝:user=thread,access=WRITE,inode=“/user”:hdfs:hdfs:drwxr-xr-x) 额外信息: 提交命令是使用hdfs用户完成的 我尝试过使用模拟选项(-doas hdfs) 禁用安全检查可以解决问题,但会导致不同的问题(失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2),使用: df

我正在尝试执行bash脚本,该脚本包含使用ozzie的多个配置单元命令,并且我获得了安全异常(权限被拒绝:user=thread,access=WRITE,inode=“/user”:hdfs:hdfs:drwxr-xr-x)

额外信息:

  • 提交命令是使用hdfs用户完成的
  • 我尝试过使用模拟选项(-doas hdfs)
  • 禁用安全检查可以解决问题,但会导致不同的问题(失败:执行错误,从org.apache.hadoop.hive.ql.exec.mr.MapRedTask返回代码2),使用:
  • 
    dfs.0权限
    假的
    
    我更喜欢使用模拟或其他更安全的方法来解决它

    堆栈跟踪:

    Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=yarn, access=WRITE, inode="/user":hdfs:hdfs:drwxr-xr-x
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:257)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:238)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:179)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6795)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6777)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6729)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4495)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4465)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4438)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:830)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:614)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:962)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2039)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2035)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2033)
    )'
    

    从root用户处执行命令sudo-u hdfs hadoop fs-chmod 777/user您希望更改哪些文件/目录的权限?因为将“/user”目录下的所有内容完全控制给每个人似乎不是一个好主意。请提供更多详细信息。。。您的job.properties文件、workflow.xml和配置单元脚本…从root用户处,执行命令sudo-u hdfs hadoop fs-chmod 777/user要更改哪些文件/目录的权限?因为将“/user”目录下的所有内容完全控制给每个人似乎不是一个好主意。请提供更多详细信息。。。您的job.properties文件、workflow.xml和配置单元脚本。。。