Java 如何加入清管器输出文件?
pig脚本输出了几个带有.pig_头和.pig_模式的部分文件(part-m-00000、part-m-00001等),我正在尝试将它们作为一个输出csv连接起来。 我尝试使用hadoop合并Java 如何加入清管器输出文件?,java,hadoop,apache-pig,Java,Hadoop,Apache Pig,pig脚本输出了几个带有.pig_头和.pig_模式的部分文件(part-m-00000、part-m-00001等),我正在尝试将它们作为一个输出csv连接起来。 我尝试使用hadoop合并 hadoop fs -getmerge ./output output.csv 但是这些文件也会与.pig_模式文件合并,因此类似于 header1,header2,header3 {"fields":[{"name": "header1", "type":...}]} value1,value2,va
hadoop fs -getmerge ./output output.csv
但是这些文件也会与.pig_模式文件合并,因此类似于
header1,header2,header3
{"fields":[{"name": "header1", "type":...}]}
value1,value2,value3
如何在不包含.pig_模式的情况下正确连接它们
谢谢 使用fileglob:
hadoop fs-getmerge./output/part*output.csv
谢谢!如何也包含头(.pig_头)?还没有尝试过,但您可以将其作为参数添加:hadoop fs-getmerge./output/.pig_头。/output/part*output.csv