Hadoop不显示不完整的文件吗?
我正在使用命令Hadoop不显示不完整的文件吗?,hadoop,hdfs,Hadoop,Hdfs,我正在使用命令fs-put将一个巨大的100GB文件复制到HDFS中。我的HDFS块大小是128MB。文件复制需要很长时间。我的问题是,在文件复制过程中,其他用户无法看到该文件。这是故意的吗?我们如何使其他用户能够访问此部分文件,以便他也可以监视复制进度。大小按块显示。因此,如果bloack大小为128MB,那么在完成第一个块时,您将看到文件大小为128MB,然后在一段时间后,您将看到大小为256MB,依此类推,直到复制整个文件。因此,您可以使用常规的HDFS UI或命令行hadoop fs-l
fs-put
将一个巨大的100GB文件复制到HDFS中。我的HDFS块大小是128MB。文件复制需要很长时间。我的问题是,在文件复制过程中,其他用户无法看到该文件。这是故意的吗?我们如何使其他用户能够访问此部分文件,以便他也可以监视复制进度。大小按块显示。因此,如果bloack大小为128MB,那么在完成第一个块时,您将看到文件大小为128MB,然后在一段时间后,您将看到大小为256MB,依此类推,直到复制整个文件。因此,您可以使用常规的HDFS UI或命令行hadoop fs-ls
来监视逐块复制进度。即使在复制过程中,您也可以使用hadoop fs-cat阅读已经复制的部分。根据《hadoop-最终指南》
一旦写入了超过一个块的数据量,第一个块将可见
给新读者。后续块也是如此:它始终是当前块
其他读者看不见的被写的