Apache pig 将每个文件从文件夹中分开放在不同的包中
我用猪拉丁语来分析之前的T20世界杯比赛。因此,每个匹配都在一个单独的CSV文件中。我想找出所有玩家的100个总数 我的方法:使用以下脚本加载每个文件:Apache pig 将每个文件从文件夹中分开放在不同的包中,apache-pig,Apache Pig,我用猪拉丁语来分析之前的T20世界杯比赛。因此,每个匹配都在一个单独的CSV文件中。我想找出所有玩家的100个总数 我的方法:使用以下脚本加载每个文件: t20 = LOAD '/home/ankur/Desktop/Pig_Scripts/t20_csv' USING PigStorage(',') as (inning,overs,team,stk,nstk,bowler,run,extra,type,name); 但使用这种方法,每个文件的数据都会放在同一个包中,这就是为什么我找不到10
t20 = LOAD '/home/ankur/Desktop/Pig_Scripts/t20_csv' USING PigStorage(',') as (inning,overs,team,stk,nstk,bowler,run,extra,type,name);
但使用这种方法,每个文件的数据都会放在同一个包中,这就是为什么我找不到100个
- 如果每个文件如何放入不同的包中,那么我可以使用FOREACH。我会计算李>
t20=LOAD'/home/ankur/Desktop/Pig_Scripts/*',使用PigStorage(',')作为(局、局、队、stk、nstk、投球手、跑、额外、类型、名称);
百条记录=按筛选t20(运行>99);
total_Hundons=每一百条记录生成一个计数(百条记录)代码>