Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop不显示不完整的文件吗?_Hadoop_Hdfs - Fatal编程技术网

Hadoop不显示不完整的文件吗?

Hadoop不显示不完整的文件吗?,hadoop,hdfs,Hadoop,Hdfs,我正在使用命令fs-put将一个巨大的100GB文件复制到HDFS中。我的HDFS块大小是128MB。文件复制需要很长时间。我的问题是,在文件复制过程中,其他用户无法看到该文件。这是故意的吗?我们如何使其他用户能够访问此部分文件,以便他也可以监视复制进度。大小按块显示。因此,如果bloack大小为128MB,那么在完成第一个块时,您将看到文件大小为128MB,然后在一段时间后,您将看到大小为256MB,依此类推,直到复制整个文件。因此,您可以使用常规的HDFS UI或命令行hadoop fs-l

我正在使用命令
fs-put
将一个巨大的100GB文件复制到HDFS中。我的HDFS块大小是128MB。文件复制需要很长时间。我的问题是,在文件复制过程中,其他用户无法看到该文件。这是故意的吗?我们如何使其他用户能够访问此部分文件,以便他也可以监视复制进度。

大小按块显示。因此,如果bloack大小为128MB,那么在完成第一个块时,您将看到文件大小为128MB,然后在一段时间后,您将看到大小为256MB,依此类推,直到复制整个文件。因此,您可以使用常规的HDFS UI或命令行
hadoop fs-ls
来监视逐块复制进度。即使在复制过程中,您也可以使用hadoop fs-cat阅读已经复制的部分。

根据《hadoop-最终指南》

一旦写入了超过一个块的数据量,第一个块将可见 给新读者。后续块也是如此:它始终是当前块 其他读者看不见的被写的