Hadoop 重命名清管器输出的零件文件

Hadoop 重命名清管器输出的零件文件,hadoop,mapreduce,apache-pig,Hadoop,Mapreduce,Apache Pig,在运行PIG作业后,我需要更改零件文件命名约定。我希望part-r-0000是userdefinedName-r-0000 有什么可能的解决办法吗? 我避免使用hadoop-cp和hadoop-mv命令 感谢此文件由Pig生成的map reduce作业创建。因此,您应该配置ApacheMapReduce。相应的属性是mapreduce.output.basename 您可以直接在pig脚本中定义任何Hadoop属性: SET mapreduce.output.basename 'custom-n

在运行PIG作业后,我需要更改零件文件命名约定。我希望part-r-0000是userdefinedName-r-0000

有什么可能的解决办法吗? 我避免使用hadoop-cp和hadoop-mv命令


感谢

此文件由Pig生成的map reduce作业创建。因此,您应该配置ApacheMapReduce。相应的属性是mapreduce.output.basename

您可以直接在pig脚本中定义任何Hadoop属性:

SET mapreduce.output.basename 'custom-name';
像这样启动猪也会有同样的效果

 pig -Dmapreduce.job.queuename=my-queue -Dmapreduce.output.basename=my-outputfilename;