Hadoop 重命名清管器输出的零件文件
在运行PIG作业后,我需要更改零件文件命名约定。我希望part-r-0000是userdefinedName-r-0000 有什么可能的解决办法吗? 我避免使用hadoop-cp和hadoop-mv命令Hadoop 重命名清管器输出的零件文件,hadoop,mapreduce,apache-pig,Hadoop,Mapreduce,Apache Pig,在运行PIG作业后,我需要更改零件文件命名约定。我希望part-r-0000是userdefinedName-r-0000 有什么可能的解决办法吗? 我避免使用hadoop-cp和hadoop-mv命令 感谢此文件由Pig生成的map reduce作业创建。因此,您应该配置ApacheMapReduce。相应的属性是mapreduce.output.basename 您可以直接在pig脚本中定义任何Hadoop属性: SET mapreduce.output.basename 'custom-n
感谢此文件由Pig生成的map reduce作业创建。因此,您应该配置ApacheMapReduce。相应的属性是mapreduce.output.basename 您可以直接在pig脚本中定义任何Hadoop属性:
SET mapreduce.output.basename 'custom-name';
像这样启动猪也会有同样的效果
pig -Dmapreduce.job.queuename=my-queue -Dmapreduce.output.basename=my-outputfilename;