Csv Cassandra源语句与副本

Csv Cassandra源语句与副本,csv,cassandra,copy,cqlsh,Csv,Cassandra,Copy,Cqlsh,我们需要将数GB的csv文件加载到cassandra中。我们尝试使用source命令从包含insert语句的文本文件中提取数据,这些语句的数据值为csv文件 使用这种方法,无法正确上传数据-第一行的数据在所有后续行中重复。(我已经检查了insert命令,它们似乎包含正确的值) 可能是什么问题?我是否看到行重复,因为Cassandra需要时间将数据刷新到磁盘?(但nodetool不显示挂起的刷新。) 创建CSV文件并使用copy语句接收数据是否更有效?请。建议 复制通常用于较小数量的数据。推荐的方

我们需要将数GB的csv文件加载到cassandra中。我们尝试使用source命令从包含insert语句的文本文件中提取数据,这些语句的数据值为csv文件

使用这种方法,无法正确上传数据-第一行的数据在所有后续行中重复。(我已经检查了insert命令,它们似乎包含正确的值)

可能是什么问题?我是否看到行重复,因为Cassandra需要时间将数据刷新到磁盘?(但nodetool不显示挂起的刷新。)


创建CSV文件并使用copy语句接收数据是否更有效?请。建议

复制通常用于较小数量的数据。推荐的方法是使用SSTable Loader并从数据创建SSTable文件。这是一个多一点的工作,但应导致更快的摄入。你也可以尝试使用Spark并通过Spark将其摄入Cassandra

至于不一致性,Cassandra会根据主键进行升级。如果有多行与同一主键匹配,则最后一次写入将获胜。如果需要保留所有行,可以向主键添加timestamp或timeuuid列以使记录唯一