Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/typo3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 配置单元中的Spark队列名称_Apache Spark_Hive_Yarn - Fatal编程技术网

Apache spark 配置单元中的Spark队列名称

Apache spark 配置单元中的Spark队列名称,apache-spark,hive,yarn,Apache Spark,Hive,Yarn,我试图使用spark引擎在配置单元中执行查询,但我需要在特定队列中运行它们。除了在spark submit--queue中,我找不到任何队列名称属性。到目前为止,我使用了以下设置: set hive.execution.engine=spark; set spark.job.queue.name=MyQueue; set spark.executor.instances=50; 或 但他们不会开始工作 找到另一个选项: set spark.yarn.queue=MyQueue 也不起作用哪个

我试图使用spark引擎在配置单元中执行查询,但我需要在特定队列中运行它们。除了在
spark submit--queue
中,我找不到任何队列名称属性。到目前为止,我使用了以下设置:

set hive.execution.engine=spark;
set spark.job.queue.name=MyQueue;
set spark.executor.instances=50;

但他们不会开始工作

找到另一个选项:

set spark.yarn.queue=MyQueue

也不起作用

哪个版本的蜂巢?哪个版本的Spark?你是否启用了哨兵或护林员?您的用户(如果Sentry/Ranger被用来干扰访问权限,那么您的用户(或者
hive
系统用户)是否真的有权访问名为
MyQueue
的队列?由于队列配置错误,您是否签入作业未挂起?您是否检查了HIVE-12538和HIVE-12611已知问题?+感谢大家的帮助,尝试使用控制台时出现以下错误:
未能执行spark任务,异常为“org.apache.hadoop.hive.ql.metadata.HiveException(未能创建spark客户端)。
看起来我们的管理员我们的管理员没有在spark上设置配置单元。
set spark.yarn.queue=MyQueue