Apache spark 从配置单元表读取并写入Cassandra表

Apache spark 从配置单元表读取并写入Cassandra表,apache-spark,hive,cassandra,cloudera,spark-cassandra-connector,Apache Spark,Hive,Cassandra,Cloudera,Spark Cassandra Connector,我在Cloudera集群中的配置单元中有一些外部表,它们按daily\u date列进行分区 我还拥有DataStax Enterprise Cassandra集群,我在其中创建了与配置单元表结构相同的表 问题:我想将配置单元表中的表数据导出/写入相应的Cassandra表 是否有蜂窝到卡桑德拉的连接器可用?或者我需要在Spark中执行此操作,如果需要,如何执行?这里的最佳实践/解决方案是什么 我试过用谷歌搜索很多不同的关键词,但没有找到任何正确/推荐的解决方案 请指导。只需使用火花,最好使用。

我在Cloudera集群中的配置单元中有一些外部表,它们按
daily\u date
列进行分区

我还拥有DataStax Enterprise Cassandra集群,我在其中创建了与配置单元表结构相同的表

问题:我想将配置单元表中的表数据导出/写入相应的Cassandra表

是否有蜂窝到卡桑德拉的连接器可用?或者我需要在Spark中执行此操作,如果需要,如何执行?这里的最佳实践/解决方案是什么

我试过用谷歌搜索很多不同的关键词,但没有找到任何正确/推荐的解决方案

请指导。

只需使用火花,最好使用。作为访问配置单元中的数据,在获取数据帧后,将其写入Cassandra。大概是这样的:

//假设表已注册:
val df=sql(“从配置单元表中选择*)
写
.format(“org.apache.spark.sql.cassandra”)
.选项(映射(“表”->“…”、“键空间”->“…”)
.save()