File Hadoop-在HDFS中手动拆分文件
我提交了一个大小为1 GB的文件，我想将此文件拆分为大小为100MB的文件。如何从命令行执行此操作。 我正在搜索如下命令：File Hadoop-在HDFS中手动拆分文件,file,hadoop,split,hdfs,File,Hadoop,Split,Hdfs,我提交了一个大小为1 GB的文件，我想将此文件拆分为大小为100MB的文件。如何从命令行执行此操作。 我正在搜索如下命令： hadoop fs -split --bytes=100m /user/foo/one_gb_file.csv /user/foo/100_mb_file_1-11.csv 在HDFS中有这样做的方法吗？在HDFS中，我们不能期望unix中提供的所有功能。当前版本的hadoop fs实用程序不提供此功能。也许是我们可以期待的未来。在hdfs中包含此功能可能会引起一个bug
hadoop fs -split --bytes=100m /user/foo/one_gb_file.csv /user/foo/100_mb_file_1-11.csv
在HDFS中有这样做的方法吗？在HDFS中，我们不能期望unix中提供的所有功能。当前版本的hadoop fs实用程序不提供此功能。也许是我们可以期待的未来。在hdfs中包含此功能可能会引起一个bug（ApacheJira中的改进） 现在，您需要用Java编写自己的实现