如何在cassandra中具有相同结构的列族之间复制/移动数据

如何在cassandra中具有相同结构的列族之间复制/移动数据,cassandra,bigdata,cql,data-migration,Cassandra,Bigdata,Cql,Data Migration,我正在寻找一种方法,将列族中的数据复制/移动到另一个具有相同结构、相同键空间的列族中 我已经尝试使用COPY命令作为csv导入并将其导出到目标列族 由于数据很大,我在使用COPY时超时 一种方法是编写应用程序,使用客户端api复制数据并添加到另一个列族中 是否有任何工具可以在不同的列族之间复制/移动数据?还是其他方式?我建议使用Spark进行这种批量迁移。对于C*的一般维护,它也是一个有用的工具 发出命令 sc.cassandraTable("ks1","table").saveToCassa

我正在寻找一种方法,将列族中的数据复制/移动到另一个具有相同结构、相同键空间的列族中

我已经尝试使用COPY命令作为csv导入并将其导出到目标列族

由于数据很大,我在使用COPY时超时

一种方法是编写应用程序,使用客户端api复制数据并添加到另一个列族中


是否有任何工具可以在不同的列族之间复制/移动数据?还是其他方式?

我建议使用Spark进行这种批量迁移。对于C*的一般维护,它也是一个有用的工具

发出命令

sc.cassandraTable("ks1","table").saveToCassandra("ks2","table") 
你可以移动你的桌子

如果您对Spark不感兴趣,我认为定制java程序或Brian Hess的Bulkloader工具会很有用


如果您想消除cqlsh的超时。实际上,您可以使用选项--request timeout=3600启动cqlsh,该选项将超时从默认的10秒更改为1小时。

注意:如果要使用sc.cassandraTable,则必须导入com.datastax.spark.connector。\ u0//加载隐式函数,否则将无法工作