Hadoop 如何比较localfile和hdfs文件的一致性
输出为 本地路径:空 HDFS路径:MD5-of-0MD5-of-512CRC32:a575c5e99b2e08605dc7c6723889519cHadoop 如何比较localfile和hdfs文件的一致性,hadoop,hdfs,Hadoop,Hdfs,输出为 本地路径:空 HDFS路径:MD5-of-0MD5-of-512CRC32:a575c5e99b2e08605dc7c6723889519c 不确定为什么本地文件的校验和为空Hadoop依赖文件系统准备好与之匹配的校验和。它不会动态生成一个 默认情况下,LocalFileSystem(或用于文件://路径的特定实现)不会为通过它创建的所有文件创建/存储校验和。您可以通过API调用切换此行为,然后在写后检索校验和即可 public String getDirs() throws I
不确定为什么本地文件的校验和为空Hadoop依赖文件系统准备好与之匹配的校验和。它不会动态生成一个 默认情况下,LocalFileSystem(或用于
文件://
路径的特定实现)不会为通过它创建的所有文件创建/存储校验和。您可以通过API调用切换此行为,然后在写后检索校验和即可
public String getDirs() throws IOException{
fs=FileSystem.get(conf);
fs.copyFromLocalFile(new Path("/private/tmp/as"), new Path("/test"));
LocalFileSystem lfs=LocalFileSystem.getLocal(conf);
// System.out.println(new LocalFileSystem().ge (conf.getLocalPath("/private/tmp/as")));
System.out.println("Local Path : "+lfs.getFileChecksum(new Path("/private/tmp/as")));
System.out.println("HDFS PATH : "+ fs.getFileChecksum(new Path("/test/as")));
return "done";
}