Authentication hadoop Hdfs中的用户身份验证

Authentication hadoop Hdfs中的用户身份验证,authentication,webdav,kerberos,hdfs,Authentication,Webdav,Kerberos,Hdfs,我已经将milton webdav与hadoop hdfs集成,并能够将文件读/写到hdfs集群 我还添加了使用linux文件权限的授权部分,这样只有授权用户才能访问hdfs服务器,但是,我仍然停留在身份验证部分 hadoop似乎不提供任何内置身份验证,用户只能通过unix“whoami”识别,这意味着我无法为特定用户启用密码。 裁判: 因此,即使我创建了一个新用户并为其设置了权限,也无法确定该用户是否正在进行身份验证。具有相同用户名和不同密码的两个用户可以访问该用户名的所有资源 我想知道是否有

我已经将milton webdav与hadoop hdfs集成,并能够将文件读/写到hdfs集群

我还添加了使用linux文件权限的授权部分,这样只有授权用户才能访问hdfs服务器,但是,我仍然停留在身份验证部分

hadoop似乎不提供任何内置身份验证,用户只能通过unix“whoami”识别,这意味着我无法为特定用户启用密码。 裁判: 因此,即使我创建了一个新用户并为其设置了权限,也无法确定该用户是否正在进行身份验证。具有相同用户名和不同密码的两个用户可以访问该用户名的所有资源

我想知道是否有任何方法可以在hdfs中启用用户身份验证(无论是在任何新的hadoop版本中固有的还是使用第三方工具,如kerbores等)

编辑:

好的,我已经检查过了,似乎kerberos可能是一个选项,但我只想知道是否有其他可用于身份验证的替代方案

谢谢,
-chhavi目前kerberos是唯一受支持的“真正”身份验证协议。“简单”协议完全信任客户的whois信息

要设置kerberos身份验证,我建议使用以下指南:

msktutil是在linux中创建kerberos密钥表的好工具:

创建服务主体时,请确保DNS设置正确,即如果您有一个名为“host1.yourdomain.com”的服务器,并且该服务器解析为IP 1.2.3.4,则该IP应反过来解析回host1.yourdomain.com

还要注意,kerberos协商身份验证头可能大于Jetty的内置头大小限制,在这种情况下,您需要修改
org.apache.hadoop.http.HttpServer
并添加
ret.setHeaderBufferSize(16*1024)
createDefaultChannelConnector()
中。我不得不这么做