Java 有谁能给我一个建议，告诉我如何在HDFS中高效地将许多小文件从本地合并成一个完整的文件 谁能给我一个建议，如何有效地将许多小文件从普通文件系统合并到HDFS中的整个文件中。 哈尔-- 可能是用一个，可能是一点 虽然您可以从中获得一些帮助，但实现起来很棘手 或其他存储系统，如HBase
这是一个常见的问题，你应该能够在谷歌上找到它，这也应该给你一些提示Java 有谁能给我一个建议，告诉我如何在HDFS中高效地将许多小文件从本地合并成一个完整的文件 谁能给我一个建议，如何有效地将许多小文件从普通文件系统合并到HDFS中的整个文件中。 哈尔-- 可能是用一个，可能是一点 虽然您可以从中获得一些帮助，但实现起来很棘手 或其他存储系统，如HBase,java,hadoop,streaming,Java,Hadoop,Streaming,这是一个常见的问题，你应该能够在谷歌上找到它，这也应该给你一些提示 请让我知道如果你需要一些更具体的帮助， 你可以考虑下面的技术 hadoop fs -getmerge <src> <localdst> [addnl] 哈尔-- 可能是用一个，可能是一点 虽然您可以从中获得一些帮助，但实现起来很棘手 或其他存储系统，如HBase 这是一个常见的问题，你应该能够在谷歌上找到它，这也应该给你一些提示 请让我知道如果你需要一些更具体的帮助， 你可以考虑下面的技术 hadoo
请让我知道如果你需要一些更具体的帮助， 你可以考虑下面的技术
hadoop fs -getmerge <src> <localdst> [addnl]
请让我知道如果你需要一些更具体的帮助， 你可以考虑下面的技术
hadoop fs -getmerge <src> <localdst> [addnl]
请让我知道如果你需要一些更具体的帮助， 你可以考虑下面的技术
hadoop fs -getmerge <src> <localdst> [addnl]
hadoop fs-getmerge[addnl]
hadoop fs -getmerge <src> <localdst> [addnl]
其中：/user/hdfs/test/是要合并的文件所在的hdfs目录，/home/hdfs/Desktop/merge5是要复制合并文件的本地目标路径 如果您的文件存在于Linux上，您可以尝试此命令
cat*.txt>merge.log | cat merge.log | hadoop fs-put-mergedFile.log如果您的文件存在于Linux上，您可以尝试此命令
cat*.txt>merge.log | cat merge.log | hadoop fs-put-mergedFile.log如果您的文件存在于Linux上，您可以尝试此命令
cat*.txt>merge.log | cat merge.log | hadoop fs-put-mergedFile.log如果您的文件存在于Linux上，您可以尝试此命令
cat*.txt>merge.log | cat merge.log | hadoop fs-put-mergedFile.logthx供您参考，但我想将大量文件从本地目录合并到整个文件所在的HDFS。是否有任何命令支持此功能。因此，您想先合并驻留在本地目录上的这些小文件，然后使用此合并文件并将其附加到驻留在HDFS中的“主文件”中？很抱歉，我的问题不是很清楚，简单地说，我想将小文件从本地合并到HDFS。例如：本地目录上有很多小文件，现在我想将这些小文件合并到HDFS上的一个大文件中。但是您告诉我的命令“hadoop fs-getmerge”是关于将小文件从HDFS合并到本地的。您寻找的解决方案包括两个步骤1）合并本地系统上的所有文件2）将合并的文件移动到HDFS中，@Pradyumna给出的解决方案就是这样做的，您尝试过吗？谢谢，我只是想知道是否有一个工具或命令形式的hadoop可以实现该功能，我认为@Pradyumna给出的解决方案确实有效。但我希望有更有效的方法来降低IO成本，例如从本地小文件中逐个获取内容，然后将其附加到HDFS文件中，这样可以降低合并本地文件的IO成本。但我认为Pradyumna的解决方案也可以，并将其标记为accepted.thx以供您参考，但我想将大量文件从本地目录合并到整个文件所在的HDFS。是否有任何命令支持此功能。因此，您想先合并驻留在本地目录上的这些小文件，然后使用此合并文件并将其附加到驻留在HDFS中的“主文件”中？很抱歉，我的问题不是很清楚，简单地说，我想将小文件从本地合并到HDFS。例如：本地目录上有很多小文件，现在我想