Apache pig Pig脚本最短执行时间

Apache pig Pig脚本最短执行时间,apache-pig,execution-time,hortonworks-data-platform,Apache Pig,Execution Time,Hortonworks Data Platform,我目前正在学习Pig,我正在Hortonworks沙盒中执行我的脚本。从一开始就困扰我的是,一个Pig脚本的最短执行时间似乎至少是30-40秒。这是因为我使用的是Hortonworks沙盒还是Pig脚本的正常使用?有没有办法缩短执行时间,因为这确实会减慢我的学习进度?如果这个执行时间是正常的,你能解释一下发生了什么,为什么会这样吗 PS 我已经为Hortonworks虚拟机分配了2GB内存。我现在只在小数据集上执行简单的脚本。如果在本地模式(pig-x local)下执行pig,那么它的运行速度

我目前正在学习Pig,我正在Hortonworks沙盒中执行我的脚本。从一开始就困扰我的是,一个Pig脚本的最短执行时间似乎至少是30-40秒。这是因为我使用的是Hortonworks沙盒还是Pig脚本的正常使用?有没有办法缩短执行时间,因为这确实会减慢我的学习进度?如果这个执行时间是正常的,你能解释一下发生了什么,为什么会这样吗

PS


我已经为Hortonworks虚拟机分配了2GB内存。我现在只在小数据集上执行简单的脚本。

如果在本地模式(pig-x local)下执行pig,那么它的运行速度会快很多,但不会进行map reduce,也不会访问hdfs,不过这对学习是有好处的

是的,30-40秒对于Pig来说是绝对正常的,因为它在编译作业、启动jvm等方面有很大的开销。 如另一个答案中所述,您可以尝试在本地模式下运行。对于一个只包含几行数据的简单作业,我通常需要15秒钟的时间。顺便说一句,我的Cloudera虚拟机分配了4G内存