Hadoop ApachePig-如何更改标准输出名称;第r部分-00000“;文件的数量?

Hadoop ApachePig-如何更改标准输出名称;第r部分-00000“;文件的数量?,hadoop,apache-pig,hadoop2,Hadoop,Apache Pig,Hadoop2,我有一个.pig脚本,它创建了一个包含一些计算数据的文件。 我希望输出文件名为“result.txt”,而不是毫无意义的标准输出名称“part-r-00000” 我的.pig脚本中的最后一个条目是 使用PigStorage()将C存储到“结果”中 因此,“result”是HDFS中存储result.txt的文件夹的名称 我怎样才能做到这一点?根据您计划如何使用它们,part-r-XXXXX并非毫无意义。如果需要将此清管器脚本的结果加载到另一个清管器脚本中,只需执行以下操作: A = LOAD '

我有一个.pig脚本,它创建了一个包含一些计算数据的文件。 我希望输出文件名为“result.txt”,而不是毫无意义的标准输出名称“part-r-00000”

我的.pig脚本中的最后一个条目是

使用PigStorage()将C存储到“结果”中

因此,“result”是HDFS中存储result.txt的文件夹的名称


我怎样才能做到这一点?

根据您计划如何使用它们,
part-r-XXXXX
并非毫无意义。如果需要将此清管器脚本的结果加载到另一个清管器脚本中,只需执行以下操作:

A = LOAD 'result' USING PigStorage() AS (...) ;
As
LOAD
可以将目录作为输入,并将加载该目录中的每个文件


如果您需要将输出(本地)作为单个文本文件进行处理,那么PIG中没有内置任何东西可以实现这一点。您需要编写一个脚本来从hdfs中提取结果,并将所有
part-r-XXXXX
文件连接在一起。

org.apache.pig.piggybank.storage中提供了一系列存储方法。。你可以试试那些。。