Apache spark 配置单元中的Spark队列名称
我试图使用spark引擎在配置单元中执行查询,但我需要在特定队列中运行它们。除了在Apache spark 配置单元中的Spark队列名称,apache-spark,hive,yarn,Apache Spark,Hive,Yarn,我试图使用spark引擎在配置单元中执行查询,但我需要在特定队列中运行它们。除了在spark submit--queue中,我找不到任何队列名称属性。到目前为止,我使用了以下设置: set hive.execution.engine=spark; set spark.job.queue.name=MyQueue; set spark.executor.instances=50; 或 但他们不会开始工作 找到另一个选项: set spark.yarn.queue=MyQueue 也不起作用哪个
spark submit--queue
中,我找不到任何队列名称属性。到目前为止,我使用了以下设置:
set hive.execution.engine=spark;
set spark.job.queue.name=MyQueue;
set spark.executor.instances=50;
或
但他们不会开始工作
找到另一个选项:
set spark.yarn.queue=MyQueue
也不起作用哪个版本的蜂巢?哪个版本的Spark?你是否启用了哨兵或护林员?您的用户(如果Sentry/Ranger被用来干扰访问权限,那么您的用户(或者
hive
系统用户)是否真的有权访问名为MyQueue
的队列?由于队列配置错误,您是否签入作业未挂起?您是否检查了HIVE-12538和HIVE-12611已知问题?+感谢大家的帮助,尝试使用控制台时出现以下错误:未能执行spark任务,异常为“org.apache.hadoop.hive.ql.metadata.HiveException(未能创建spark客户端)。
看起来我们的管理员我们的管理员没有在spark上设置配置单元。
set spark.yarn.queue=MyQueue