Performance 如何衡量猪的性能

Performance 如何衡量猪的性能,performance,apache-pig,Performance,Apache Pig,我遇到了两个脚本,它们完成了计算pig中值百分比的相同工作 脚本1 total = FOREACH (GROUP A ALL) GENERATE COUNT(A); rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt; fractions = FOREACH rows GENERATE colname, cnt/(double)total.$0; 脚本2 test = LOAD 'test.txt'

我遇到了两个脚本,它们完成了计算pig中值百分比的相同工作

脚本1

total = FOREACH (GROUP A ALL) GENERATE COUNT(A);
rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt;
fractions = FOREACH rows GENERATE colname, cnt/(double)total.$0;
脚本2

test = LOAD 'test.txt' USING PigStorage(',') AS (one:chararray,two:int);
B = GROUP test by $0;
C = FOREACH B GENERATE group, COUNT(test.$0);
D = GROUP test ALL;
E = FOREACH D GENERATE group,COUNT(test.$0);
F = CROSS C,E;
G = FOREACH F GENERATE $0,(double)($1*100/$3);
从一开始,Script1就比Script2有效

我想知道是否有像VisualVM、Java中的JProfiler这样的工具来衡量pig脚本的性能

运行脚本所需的时间是进行度量的一种方法,但是否有为其构建的工具?

  • 你写了一个猪的剧本
  • 根据脚本,Pig将在优化的Map Reduce中进行转换
使用Explain命令为两个脚本计算MR计划。 根据一些一般规则比较计划(可能会有变化)

  • 生成较少还原数的脚本将更快
  • 生成较少MR jobs的脚本将更快
  • 在一个给定的MR脚本中,调用较少数量的UDF会更快

  • 如果有帮助的话,试试这个:我知道用时间来检查它就可以了。但是我想知道是否有专门的工具来检查性能。