Java 未能创建spark客户端:spark上的配置单元异常

Java 未能创建spark客户端:spark上的配置单元异常,java,hadoop,apache-spark,Java,Hadoop,Apache Spark,我已将我的蜂巢执行引擎更改为SPARK。当执行任何DML/DDL时,我都会遇到以下异常 hive>从tablename中选择count(*); 查询ID=jibi_john_2016060215312_6ec1da36-dcb3-4f2f-a855-3b68be118b36 职位总数=1 正在启动作业1/1 要更改减速器的平均负载(以字节为单位): 设置hive.exec.reducers.bytes.per.reducer= 为了限制减速器的最大数量: 设置hive.exec.reducer

我已将我的蜂巢执行引擎更改为SPARK。当执行任何DML/DDL时,我都会遇到以下异常

hive>从tablename中选择count(*);
查询ID=jibi_john_2016060215312_6ec1da36-dcb3-4f2f-a855-3b68be118b36
职位总数=1
正在启动作业1/1
要更改减速器的平均负载(以字节为单位):
设置hive.exec.reducers.bytes.per.reducer=
为了限制减速器的最大数量:
设置hive.exec.reducers.max=
为了设置恒定数量的减速器:
设置mapreduce.job.reduces=
**未能执行spark任务,异常为“org.apache.hadoop.hive.ql.metadata.HiveException(未能创建spark客户端)。”
**失败:执行错误,从org.apache.hadoop.hive.ql.exec.spark.SparkTask返回代码1****

一个可能的原因是您在分配ApplicationMaster之前遇到了超时值。您可以通过设置hive.spark.client.server.connect.timeout来扩展此超时值


其默认值为90000ms。

可能是由于内存问题。尝试将纱线容器内存和最大值设置为大于Spark Executor内存+开销

warn.scheduler.maximum-allocation-mb warn.nodemanager.resource.memory-mb