Apache spark HDP多节点群集上的Spark with Thread client仅在同一单个节点上启动执行器
我已经在EC2上安装了带有Spark和Thread的多节点HDP群集 每个节点都是数据节点 Node3是唯一的Spark客户端节点 每次我在Thread client或Thread cluster模式下运行spark作业时，它都会初始化节点3上的spark执行器。而我希望作业使用每个节点 我错过了什么 例如，我在ambari中设置了MASTER=“纱线客户机”，但这并不能解决问题 谢谢你的帮助 编辑：当我运行一个包含30个执行器的spark shell时，它会在node3上启动12个执行器，占集群的95%。所以我的猜测是，纱线集群在分配诸如spark容器/执行器之类的资源时没有考虑node1和node2Apache spark HDP多节点群集上的Spark with Thread client仅在同一单个节点上启动执行器,apache-spark,yarn,hortonworks-data-platform,ambari,Apache Spark,Yarn,Hortonworks Data Platform,Ambari,我已经在EC2上安装了带有Spark和Thread的多节点HDP群集 每个节点都是数据节点 Node3是唯一的Spark客户端节点 每次我在Thread client或Thread cluster模式下运行spark作业时，它都会初始化节点3上的spark执行器。而我希望作业使用每个节点 我错过了什么 例如，我在ambari中设置了MASTER=“纱线客户机”，但这并不能解决问题 谢谢你的帮助 编辑：当我运行一个包含30个执行器的spark shell时，它会在node3上启动12个执行器，占集
不知道我应该修改哪个配置来将node1和node2添加到集群资源中好吧，我真的很笨 我必须将每个节点添加为纱线节点管理器。这样，我的spark作业就可以很好地分布在集群的每个节点上 对不起，这太愚蠢了