Java 访问Spark中的Cassandra节点
我有两个Cassandra节点,我正在开发一个JavaSpark应用程序 我有一个星火大师和两个奴隶。以下代码用于连接到单个Cassandra节点:Java 访问Spark中的Cassandra节点,java,apache-spark,cassandra,Java,Apache Spark,Cassandra,我有两个Cassandra节点,我正在开发一个JavaSpark应用程序 我有一个星火大师和两个奴隶。以下代码用于连接到单个Cassandra节点: sparkConf.set("spark.cassandra.connection.host", "server"); 如何添加其他Cassandra节点?如果使用scala,可以尝试这样做。但是我找不到任何与Python相关的东西 val connectorToClusterOne = CassandraConnector(sc.getConf
sparkConf.set("spark.cassandra.connection.host", "server");
如何添加其他Cassandra节点?如果使用scala,可以尝试这样做。但是我找不到任何与Python相关的东西
val connectorToClusterOne = CassandraConnector(sc.getConf.set("spark.cassandra.connection.host", "127.0.0.1"))
val connectorToClusterTwo = CassandraConnector(sc.getConf.set("spark.cassandra.connection.host", "127.0.0.2"))
implicit val c = connectorToClusterOne
sc.cassandraTable("ks","tab")
implicit val c = connectorToClusterTwo
rddFromClusterOne.saveToCassandra("ks","tab")
祝你好运 问题很清楚:
new SparkConf(true)
.set("spark.cassandra.connection.host", "192.168.123.10")
就在下面:
可以使用逗号分隔的列表(“127.0.0.1127.0.0.0.2”)传入多个主机。这些只是初始接触点,连接时将使用本地DC中的所有节点
换句话说,您只需要连接到Spark master,它通过资源管理器了解集群中的其他机器。要连接到多个群集时,逗号分隔列表非常有用