Apache spark 如何在Datastax企业集群中选出Spark master?

Apache spark 如何在Datastax企业集群中选出Spark master?,apache-spark,datastax,Apache Spark,Datastax,如何在Datastax企业集群中选出Spark master?我已经查看了/etc/dse/dse env.sh和/etc/dse/spark/spark defaults.conf和/etc/dse/spark/spark env.sh中的配置。但我找不到任何一个地方 在我们的集群上,Spark master在服务重启后继续从一个节点移动到另一个节点?在DSE 4.6中,Spark master/Hadoop作业跟踪器(始终在同一节点上)由循环算法确定,并存储在jobtracker表中。这在将

如何在Datastax企业集群中选出Spark master?我已经查看了
/etc/dse/dse env.sh
/etc/dse/spark/spark defaults.conf
/etc/dse/spark/spark env.sh
中的配置。但我找不到任何一个地方


在我们的集群上,Spark master在服务重启后继续从一个节点移动到另一个节点?

在DSE 4.6中,Spark master/Hadoop作业跟踪器(始终在同一节点上)由循环算法确定,并存储在jobtracker表中。这在将来的版本中可能会更改

您可以通过以下方式检查并查看当前主控形状:

dsetool listjt
这将输出您的当前主机和备用主机(如果已配置)

要配置备用主机,请使用:

dsetool reservejt
输出可能如下所示:

 $ dsetool listjt DC                             JobTracker   
 --                             --            
 Analytics-Analytics            192.168.101.122 
 ------ Reserve-JT = 192.168.101.121