Apache spark 集群配置中的DSE分析

Apache spark 集群配置中的DSE分析,apache-spark,cassandra,datastax,datastax-enterprise,spark-cassandra-connector,Apache Spark,Cassandra,Datastax,Datastax Enterprise,Spark Cassandra Connector,以前我们有三个节点集群,其中一个dc中有两个Cassandra节点数据中心,另一个dc中有一个启用spark的节点。 Spark在这种配置下运行平稳。 然后,我们尝试在启用spark的analytics dc中添加另一个节点。我们已经配置了GossippingPropertyFileSnitch以及添加了种子。 但现在,当我们启动集群时,spark master将分别分配给这两个节点。所以spark作业仍然在单个节点上运行。关于在群集中运行spark作业,我们缺少哪些配置 很可能您没有对Anal

以前我们有三个节点集群,其中一个dc中有两个Cassandra节点数据中心,另一个dc中有一个启用spark的节点。 Spark在这种配置下运行平稳。 然后,我们尝试在启用spark的analytics dc中添加另一个节点。我们已经配置了GossippingPropertyFileSnitch以及添加了种子。
但现在,当我们启动集群时,spark master将分别分配给这两个节点。所以spark作业仍然在单个节点上运行。关于在群集中运行spark作业,我们缺少哪些配置

很可能您没有对Analytics键空间复制进行调整,或者在添加节点后没有运行修复。请参阅


此外,请检查您是否为两个分析节点配置了相同的DC,因为Spark master是根据DC选择的。

谢谢。我解决了这个问题。两个系统上的端口都被阻塞。谢谢你的及时回复。