将JavaPairdd保存到Cassandra
我正试图将一个由JavaPairdd创建的火花注入Cassandra。JavaRDD有很多例子,但PairRDS的例子不多 我的JavaPairdd如下所示:将JavaPairdd保存到Cassandra,java,apache-spark,cassandra,rdd,spark-cassandra-connector,Java,Apache Spark,Cassandra,Rdd,Spark Cassandra Connector,我正试图将一个由JavaPairdd创建的火花注入Cassandra。JavaRDD有很多例子,但PairRDS的例子不多 我的JavaPairdd如下所示: JavaPairRDD<String, List<Tuple<String, Long>>> pairs javapairdd对 我试图保存到一个Cassandra表,其中的列定义如下: name TEXT PRIMARY KEY, list LIST<TUPLE<STRING, LON
JavaPairRDD<String, List<Tuple<String, Long>>> pairs
javapairdd对
我试图保存到一个Cassandra表,其中的列定义如下:
name TEXT PRIMARY KEY,
list LIST<TUPLE<STRING, LONG>>
name文本主键,
列表
我知道我可能必须使用cassandra UTIL中的javaFunctions,但是我不确定语法,也不了解RowWriterFactory应该做什么。JavaPairRDD包含Tuple2。您可以尝试下面的代码,但我认为在返回
RowWriterFactory
的CassandraJavaUtil.mapTupleToRow
函数中,类类型不支持泛型集合类型。有关mapTupleToRow
的详细信息,请访问
javaFunctions(javaPairRDD).writerBuilder("cassandrakeyspace", "cassandratable", CassandraJavaUtil.mapTupleToRow(A.class, B.class)).saveToCassandra();