Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
带有kerberose的Hadoop文件系统_Hadoop_Filesystems_Webhdfs - Fatal编程技术网

带有kerberose的Hadoop文件系统

带有kerberose的Hadoop文件系统,hadoop,filesystems,webhdfs,Hadoop,Filesystems,Webhdfs,我是hadoop文件系统的新手。我在google上找不到任何与Hadoop文件系统相关的有用链接 我想在使用Hadoop文件系统时使用Kerberose进行身份验证 示例代码: Path src = new Path("C:\\testing\\a\\a.avro"); Path dest = new Path("webhdfs://aaaa:50070/dummy/dummy.avro"); WebHdfsFileSystem web = new WebHdfsFile

我是hadoop文件系统的新手。我在google上找不到任何与Hadoop文件系统相关的有用链接

我想在使用Hadoop文件系统时使用Kerberose进行身份验证

示例代码:

    Path src = new Path("C:\\testing\\a\\a.avro");
    Path dest = new Path("webhdfs://aaaa:50070/dummy/dummy.avro");
    WebHdfsFileSystem web = new WebHdfsFileSystem();
    try {
        Configuration conf = new Configuration();
        conf.set("fs.default.name","webhdfs://aaaa:50070");
        web.setConf(conf);
        FileSystem fs = FileSystem.get(web.getConf());
        fs.copyFromLocalFile(false,src,dest);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

如何使用上述代码实现kerberos身份验证?如何设置原则和键表值

对您的问题的简短回答是:如果您正确配置了所有内容,那么您的hdfs客户端代码知道如何进行身份验证绝对与您在此处发布的代码无关

我建议您阅读Hadoop安全教程

Hadoop 1.3 Hortonworks Hadoop 2.0 Hortonworks 您的hdfs客户端似乎是Windows系统。要访问Kerberized集群(包括Kerberized HDFS),您需要启用TGT会话访问,请参阅,并且您必须确保您的进程不是受UAC限制的管理员,请参阅


您的群集不能是Windows群集,Kerberized Windows群集仍在开发中,等等。

好的,什么是。。。问题是什么?