Hadoop 如何比较localfile和hdfs文件的一致性

Hadoop 如何比较localfile和hdfs文件的一致性,hadoop,hdfs,Hadoop,Hdfs,输出为 本地路径:空 HDFS路径:MD5-of-0MD5-of-512CRC32:a575c5e99b2e08605dc7c6723889519c 不确定为什么本地文件的校验和为空Hadoop依赖文件系统准备好与之匹配的校验和。它不会动态生成一个 默认情况下,LocalFileSystem(或用于文件://路径的特定实现)不会为通过它创建的所有文件创建/存储校验和。您可以通过API调用切换此行为,然后在写后检索校验和即可 public String getDirs() throws I

输出为

本地路径:空 HDFS路径:MD5-of-0MD5-of-512CRC32:a575c5e99b2e08605dc7c6723889519c


不确定为什么本地文件的校验和为空

Hadoop依赖文件系统准备好与之匹配的校验和。它不会动态生成一个

默认情况下,LocalFileSystem(或用于
文件://
路径的特定实现)不会为通过它创建的所有文件创建/存储校验和。您可以通过API调用切换此行为,然后在写后检索校验和即可

    public String getDirs() throws IOException{
        fs=FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("/private/tmp/as"), new Path("/test"));
        LocalFileSystem lfs=LocalFileSystem.getLocal(conf);

//      System.out.println(new LocalFileSystem().ge (conf.getLocalPath("/private/tmp/as")));
        System.out.println("Local Path : "+lfs.getFileChecksum(new Path("/private/tmp/as")));   
        System.out.println("HDFS PATH : "+ fs.getFileChecksum(new Path("/test/as")));
        return "done";
    }