Performance 如何衡量猪的性能
我遇到了两个脚本,它们完成了计算pig中值百分比的相同工作 脚本1Performance 如何衡量猪的性能,performance,apache-pig,Performance,Apache Pig,我遇到了两个脚本,它们完成了计算pig中值百分比的相同工作 脚本1 total = FOREACH (GROUP A ALL) GENERATE COUNT(A); rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt; fractions = FOREACH rows GENERATE colname, cnt/(double)total.$0; 脚本2 test = LOAD 'test.txt'
total = FOREACH (GROUP A ALL) GENERATE COUNT(A);
rows = FOREACH (GROUP A by $0) GENERATE group as colname, COUNT(A) as cnt;
fractions = FOREACH rows GENERATE colname, cnt/(double)total.$0;
脚本2
test = LOAD 'test.txt' USING PigStorage(',') AS (one:chararray,two:int);
B = GROUP test by $0;
C = FOREACH B GENERATE group, COUNT(test.$0);
D = GROUP test ALL;
E = FOREACH D GENERATE group,COUNT(test.$0);
F = CROSS C,E;
G = FOREACH F GENERATE $0,(double)($1*100/$3);
从一开始,Script1就比Script2有效
我想知道是否有像VisualVM、Java中的JProfiler这样的工具来衡量pig脚本的性能
运行脚本所需的时间是进行度量的一种方法,但是否有为其构建的工具?- 你写了一个猪的剧本李>
- 根据脚本,Pig将在优化的Map Reduce中进行转换李>
如果有帮助的话,试试这个:我知道用时间来检查它就可以了。但是我想知道是否有专门的工具来检查性能。