Hadoop Pig脚本在Tez上抛出内存不足异常，但可与MapReduce一起使用

下面显示的Pig（使用Tez执行引擎）脚本抛出内存不足异常，在4节点集群上有一个15GB的employee表。
当执行引擎更改为MapReduce时，它工作正常。

pig -F -x tez -useHCatalog<<EOF
EMP_TMP = LOAD 'employee' USING org.apache.hive.hcatalog.pig.HCatLoader();
EMP = foreach EMP_TMP generate emp_id, log_time , dept_id, 10 as emp_type;
EMP_VALID =  filter EMP by (ToDate(ToString(log_time, 'yyyy-MM-dd'),'yyyy-MM-dd') >= ToDate('2015-09-01','yyyy-MM-dd') and ToDate(ToString(log_time, 'yyyy-MM-dd'),'yyyy-MM-dd') <= ToDate('2015-09-30','yyyy-MM-dd'));
STORE EMP_VALID INTO 'EMP_VALID' USING org.apache.hive.hcatalog.pig.HCatStorer();
EOF

与群集内存和存储相比，表大小太小。

---

Tez中是否有需要特定配置的内存参数？

我可以通过增加pig堆大小来修复它，pig中的默认值非常小

export PIG_HEAPSIZE=8192

---

我可以通过增加pig堆大小来修复它，在pig中，它的默认值非常小

export PIG_HEAPSIZE=8192

---

你试过增加记忆力吗？e、 g.SET mapred.child.java.opts'-Xmx4096M'您是否尝试过增加内存？e、 g.设置mapred.child.java.opts'-Xmx4096M'