Apache pig 在pig中加载多个文件
我对猪不熟悉 在pig中,我想加载多个文件,文件名上有时间戳 如果我在2012年2月12日至2012年2月19日之间加载文件,则以下操作有效Apache pig 在pig中加载多个文件,apache-pig,Apache Pig,我对猪不熟悉 在pig中,我想加载多个文件,文件名上有时间戳 如果我在2012年2月12日至2012年2月19日之间加载文件,则以下操作有效 $START = "12" $END = "19" raw_data = load '/table/status/2012/02/{$START,$END}' using Loader() 假设开始日期为2011/12/29,结束日期为2012/01/04,如何更改代码行 谢谢你的帮助 您需要的范围可以通过使用以下glob加载: raw_data = l
$START = "12"
$END = "19"
raw_data = load '/table/status/2012/02/{$START,$END}' using Loader()
假设开始日期为2011/12/29,结束日期为2012/01/04,如何更改代码行
谢谢你的帮助 您需要的范围可以通过使用以下glob加载:
raw_data = load '/table/status/{2011/12/{29,3{0,1}},2012/01/0[1-4]}' using Loader()
注意,Pig使用Hadoop的globbing,因此您可以使用什么取决于底层HDFS的版本。这在0.20以下工作
如果需要更复杂的范围,那么这种目录枚举方式可能有点不灵活。因此,考虑使用shell脚本来收集您需要的目录,如建议的