Hadoop 如何在MapReduce结果之后将输出文件导出回CSV
我找不到出路,如何将Hadoop Mapreduce结果导出回CSV或其他文件格式 有人知道怎么做吗?我很想知道Hadoop 如何在MapReduce结果之后将输出文件导出回CSV,hadoop,mapreduce,Hadoop,Mapreduce,我找不到出路,如何将Hadoop Mapreduce结果导出回CSV或其他文件格式 有人知道怎么做吗?我很想知道 请注意,我指的是Hadoop的结果,例如output1/part.00000,默认情况下,它们实际上是TSV(制表符分隔),您可以通过设置进行更改 mapred.textoutputformat.separator="," 然后您可以通过HDFS-get命令或使用-merge命令从HDFS下载它,以在单个本地文件中获得所有part ooo*文件的合并输出 hadoop fs
请注意,我指的是Hadoop的结果,例如output1/part.00000,默认情况下,它们实际上是TSV(制表符分隔),您可以通过设置进行更改
mapred.textoutputformat.separator=","
然后您可以通过HDFS-get命令或使用-merge命令从HDFS下载它,以在单个本地文件中获得所有part ooo*文件的合并输出
hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile
或
用法:hadoop fs-getmerge[addnl]
如果要更改由java map reduce代码生成的密钥和值对文件之间的分隔符,可以设置: 将mapred.textoutputformat.separator映射到“,”
Usage: hadoop fs -getmerge <src> <localdst> [addnl]