Hive 配置单元tez执行错误

Hive 配置单元tez执行错误,hive,apache-tez,Hive,Apache Tez,我正在运行一个配置单元查询,在设置配置单元.execution.engine=tez时,当查询在engine=MR下工作时,出现了以下错误 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 我的查询是一个内部连接,数据非常大 另一件事是我以前遇到过这个问题。但tez工作得晚一些,所以我认为这是关于蜂巢的一些不稳定因素 使用以下属性检查您的纱线站点.xml <prop

我正在运行一个配置单元查询,在设置配置单元.execution.engine=tez时,当查询在engine=MR下工作时,出现了以下错误

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
我的查询是一个内部连接,数据非常大


另一件事是我以前遇到过这个问题。但tez工作得晚一些,所以我认为这是关于蜂巢的一些不稳定因素

使用以下属性检查您的纱线站点.xml

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
 <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
</configuration>

warn.nodemanager.vmem-check-enabled
假的
是否对容器强制执行虚拟内存限制
纱线.nodemanager.vmem-pmem-比值
4.
为容器设置内存限制时虚拟内存与物理内存之间的比率
warn.scheduler.minimum-allocation-mb
1024
warn.scheduler.maximum-allocation-mb
2048
warn.nodemanager.resource.memory-mb
2048

通过配置单元运行HQL时,请包含以下参数。这将为您提供详细的日志,您可以轻松确定根本原因

-hiveconf hive.root.logger=DEBUG,console
我也遇到过类似的问题,上面的房产帮了我大忙

e、 g:我收到了以下消息

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph.
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288
16/04/14 10:29:26执行错误。任务:无法执行tez图。
org.apache.tez.dag.api.TezException:org.apache.hadoop.warn.exceptions.InvalidResourceRequestException:无效的资源请求,请求的内存<0,或请求的内存>最大配置,请求的内存=20480,最大内存=11288
当我将设置更改为
11288
时,我的查询顺利通过

希望这能对你有所帮助。

找到了,这让它对我有用。需要添加用户名

hadoop


我以为你的问题标题应该是“有这个执行错误”。我们打算编辑它,然后意识到标签:d标题是配置单元执行错误,将执行引擎设置为tez。