Compilation Pig 0.11编译速度慢吗？

有人觉得在Pig0.11上运行脚本很慢吗？我已经在与pig 0.11和pig 0.8相同的环境中运行了脚本。猪0.8总是更快

评论

这可能是因为使用PIG存储的LOAD语句匹配了很多文件吗？默认情况下，Pig 0.11中的PigStorage会检查HDFS上的模式文件是否匹配。如果您正在读取大量文件，这会使速度非常慢

使用x=使用PigStorage“…”、“-noschema”加载“…”。 使用-noschema将避免查找模式文件，您应该恢复速度

更多信息