Fatal编程技术网
  • apache-spark/
  • Apache spark 在dse 5.0.3中查找spark master

Apache spark 在dse 5.0.3中查找spark master

apache-spark

Apache spark 在dse 5.0.3中查找spark master,apache-spark,datastax-enterprise,Apache Spark,Datastax Enterprise,Cassandra表dse_system.real_leader过去使用Spark主ip地址填充。dse 5.0.3似乎并非如此。有没有一种新的方法可以通过Cassandra查询找到master？也许我的dse环境没有正确配置以填充real_leaders表？我会尝试以下cqlsh>调用DseClientTool.getSparkMasterAddress（）我会尝试以下cqlsh>调用DseClientTool.getSparkMasterAddress（）您还可以通过执行以下命令在DSE中获

Cassandra表dse_system.real_leader过去使用Spark主ip地址填充。dse 5.0.3似乎并非如此。有没有一种新的方法可以通过Cassandra查询找到master？也许我的dse环境没有正确配置以填充real_leaders表？

我会尝试以下
cqlsh>调用DseClientTool.getSparkMasterAddress（）
我会尝试以下
cqlsh>调用DseClientTool.getSparkMasterAddress（）
您还可以通过执行以下命令在DSE中获取spark master


dsetool sparkmaster



您还可以通过执行以下命令在DSE中获取spark主机


dsetool sparkmaster



dse客户端工具spark leader地址


这将为您获得随机选择的DSE主机。
DSE客户端工具spark leader地址

这将为您获得随机选择的DSE主机