Apache spark 如何在Datastax企业集群中选出Spark master?
如何在Datastax企业集群中选出Spark master?我已经查看了Apache spark 如何在Datastax企业集群中选出Spark master?,apache-spark,datastax,Apache Spark,Datastax,如何在Datastax企业集群中选出Spark master?我已经查看了/etc/dse/dse env.sh和/etc/dse/spark/spark defaults.conf和/etc/dse/spark/spark env.sh中的配置。但我找不到任何一个地方 在我们的集群上,Spark master在服务重启后继续从一个节点移动到另一个节点?在DSE 4.6中,Spark master/Hadoop作业跟踪器(始终在同一节点上)由循环算法确定,并存储在jobtracker表中。这在将
/etc/dse/dse env.sh
和/etc/dse/spark/spark defaults.conf
和/etc/dse/spark/spark env.sh
中的配置。但我找不到任何一个地方
在我们的集群上,Spark master在服务重启后继续从一个节点移动到另一个节点?在DSE 4.6中,Spark master/Hadoop作业跟踪器(始终在同一节点上)由循环算法确定,并存储在jobtracker表中。这在将来的版本中可能会更改 您可以通过以下方式检查并查看当前主控形状:
dsetool listjt
这将输出您的当前主机和备用主机(如果已配置)
要配置备用主机,请使用:
dsetool reservejt
输出可能如下所示:
$ dsetool listjt DC JobTracker
-- --
Analytics-Analytics 192.168.101.122
------ Reserve-JT = 192.168.101.121