hadoop权限问题(hdfs-site.xml dfs.permissions.enabled)
我最近在我的机器上安装了Hadoop。我有权限问题。我以用户rahul的身份登录并尝试在HDFS中创建目录(hadoop权限问题(hdfs-site.xml dfs.permissions.enabled),hadoop,permissions,hive,hdfs,cloudera,Hadoop,Permissions,Hive,Hdfs,Cloudera,我最近在我的机器上安装了Hadoop。我有权限问题。我以用户rahul的身份登录并尝试在HDFS中创建目录(HDFS-mkdir/rahul_工作区)。但它给了我一个错误权限被拒绝:user=Rahul,access=WRITE,inode=“/user”:hdfs:hdfs:drwxr-xr-x。谷歌对该错误的快速搜索会导致许多响应,建议通过将hdfs site.xml中的dfs.permissions属性设置为false来禁用权限检查。 现在我可以用HDFS包装目录了。当上述属性设置为fal
HDFS-mkdir/rahul_工作区
)。但它给了我一个错误权限被拒绝:user=Rahul,access=WRITE,inode=“/user”:hdfs:hdfs:drwxr-xr-x
。谷歌对该错误的快速搜索会导致许多响应,建议通过将hdfs site.xml
中的dfs.permissions
属性设置为false
来禁用权限检查。
现在我可以用HDFS包装目录了。当上述属性设置为false时,我是否可以访问所有其他hadoop服务,如hive、pig、sqoop等 dfs.permissions是可用于启用/禁用HDFS ACL(简单权限)的属性。将dfs.permission设置为false时,任何用户都可以在HDFS中的任何位置创建/删除文件/目录
当此属性设置为false时,您可以访问所有其他Hadoop服务,如Hive、Pig等。dfs.permissions是可用于启用/禁用HDFS ACL(简单权限)的属性。将dfs.permission设置为false时,任何用户都可以在HDFS中的任何位置创建/删除文件/目录
将此属性设置为false时,您可以访问所有其他Hadoop服务,如Hive、Pig等。HDFS将启动namenode进程的用户视为“超级用户”。此用户通常是
hdfs
用户。您试图写入的/user
目录归hdfs
用户和hdfs
组所有,对hdfs
组中的任何用户和其他用户具有读取和执行权限
禁用权限似乎有点极端。这里有几个选项,第一个是将用户目录创建为hdfs
用户
sudo -u hdfs hdfs fs -mkdir /rahul_workspace
sudo -u hdfs hdfs fs -chown Rahul /rahul_workspace
这将创建您的目录并将所有权更改为您。另一个选项是在您已经具有写入权限的区域中创建目录。通常/tmp是完全开放的
hdfs fs -mkdir /tmp/rahul_workspace
HDFS将启动namenode进程的用户视为“超级用户”。此用户通常是
hdfs
用户。您试图写入的/user
目录归hdfs
用户和hdfs
组所有,对hdfs
组中的任何用户和其他用户具有读取和执行权限
禁用权限似乎有点极端。这里有几个选项,第一个是将用户目录创建为hdfs
用户
sudo -u hdfs hdfs fs -mkdir /rahul_workspace
sudo -u hdfs hdfs fs -chown Rahul /rahul_workspace
这将创建您的目录并将所有权更改为您。另一个选项是在您已经具有写入权限的区域中创建目录。通常/tmp是完全开放的
hdfs fs -mkdir /tmp/rahul_workspace
关于Cloudera:
我所做的是,创建了一个对色调具有默认权限的用户,即user1
然后,从linux shell中,首先访问hdfs用户权限:
导出HADOOP\u USER\u NAME=hdfs
然后,对于您的linux用户名,如“user1”:
尝试:
hdfs-dfs-chown user1:user1/
现在,如果您获得了适当的权限:
尝试在“/”上创建目录:
Cloudera上的hdfs dfs-mkdir/testuser1
我所做的是,创建了一个对色调具有默认权限的用户,即user1
然后,从linux shell中,首先访问hdfs用户权限:
导出HADOOP\u USER\u NAME=hdfs
然后,对于您的linux用户名,如“user1”:
尝试:
hdfs-dfs-chown user1:user1/
现在,如果您获得了适当的权限:
尝试在“/”上创建目录:
hdfs-dfs-mkdir/testuser1
我们使用了
hadoop fs-setfacl-m-R用户:xyz:rwx/data/dev/dl/fvc/df
为了在顶级目录(/data)上解决这个问题,我们使用了
hadoop fs-setfacl-m-R用户:xyz:rwx/data/dev/dl/fvc/df
在顶级目录(/data)上解决此问题