Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何在MapReduce结果之后将输出文件导出回CSV_Hadoop_Mapreduce - Fatal编程技术网

Hadoop 如何在MapReduce结果之后将输出文件导出回CSV

Hadoop 如何在MapReduce结果之后将输出文件导出回CSV,hadoop,mapreduce,Hadoop,Mapreduce,我找不到出路,如何将Hadoop Mapreduce结果导出回CSV或其他文件格式 有人知道怎么做吗?我很想知道 请注意,我指的是Hadoop的结果,例如output1/part.00000,默认情况下,它们实际上是TSV(制表符分隔),您可以通过设置进行更改 mapred.textoutputformat.separator="," 然后您可以通过HDFS-get命令或使用-merge命令从HDFS下载它,以在单个本地文件中获得所有part ooo*文件的合并输出 hadoop fs

我找不到出路,如何将Hadoop Mapreduce结果导出回CSV或其他文件格式

有人知道怎么做吗?我很想知道


请注意,我指的是Hadoop的结果,例如output1/part.00000,默认情况下,它们实际上是TSV(制表符分隔),您可以通过设置进行更改

  mapred.textoutputformat.separator=","
然后您可以通过HDFS-get命令或使用-merge命令从HDFS下载它,以在单个本地文件中获得所有part ooo*文件的合并输出

  hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

用法:hadoop fs-getmerge[addnl]
如果要更改由java map reduce代码生成的密钥和值对文件之间的分隔符,可以设置:

将mapred.textoutputformat.separator映射到“,”

  Usage: hadoop fs -getmerge <src> <localdst> [addnl]