Java ApachePig-使用UDF创建唯一的输出文件夹

Java ApachePig-使用UDF创建唯一的输出文件夹,java,hadoop,apache-pig,hue,Java,Hadoop,Apache Pig,Hue,我正在使用来自Hue的apachepig,使用脚本ETL-op.Pig对文件执行ETL操作。使用以下行将输出存储到HDFS中的指定文件夹中: STORE outval INTO '/user/root/Pig-Output 但是,下次运行脚本时,它会说输出文件夹已经存在,并且不会创建单独的文件夹 是否有任何方法可以使用色调在Pig中创建Java UDF,以便生成唯一标识符并将其附加到脚本中的“Pig输出”文件夹名称中?无需UDF即可: 定义一个类似于当前unix时间戳的变量: %default

我正在使用来自Hue的apachepig,使用脚本ETL-op.Pig对文件执行ETL操作。使用以下行将输出存储到HDFS中的指定文件夹中:

STORE outval INTO '/user/root/Pig-Output
但是,下次运行脚本时,它会说输出文件夹已经存在,并且不会创建单独的文件夹


是否有任何方法可以使用色调在Pig中创建Java UDF,以便生成唯一标识符并将其附加到脚本中的“Pig输出”文件夹名称中?

无需UDF即可: 定义一个类似于当前unix时间戳的变量:

%default TS `date  +%s` 
然后将其用作文件夹的后缀:

STORE outval INTO '/user/root/Pig-Output_$TS' ...

您需要什么类型的标识?一种流行的方法是只添加一个变量,例如“'STORE outval INTO'/user/root/Pig Output/$Output”@Romain:$Output将包含什么值?提交时会提示您提供该值。@Romain:谢谢,收到了:)