Hive 将表从配置单元迁移到Cassandra-使用复制

Hive 将表从配置单元迁移到Cassandra-使用复制,hive,presto,cassandra-3.0,trino,Hive,Presto,Cassandra 3.0,Trino,我正在将表从Hive/HDFS(使用Presto加速迁移)迁移到Cassandra v3.11.3,我的问题是——我可以使用任何其他简单的方法吗?因为我有更少的时间和大量的表移动 我已尝试将表格作为.csv文件从配置单元导出到cassandra。。。但我遇到了其他问题,比如当我运行COPY命令时,它并没有导入所有的行。这并没有给我任何错误。。。但它无法复制该.csv文件中的所有行或记录 就像我在.csv文件中有1074行一样,但在cassandra中运行COPY from命令后,我只看到了130

我正在将表从Hive/HDFS(使用Presto加速迁移)迁移到Cassandra v3.11.3,我的问题是——我可以使用任何其他简单的方法吗?因为我有更少的时间和大量的表移动

我已尝试将表格作为.csv文件从配置单元导出到cassandra。。。但我遇到了其他问题,比如当我运行COPY命令时,它并没有导入所有的行。这并没有给我任何错误。。。但它无法复制该.csv文件中的所有行或记录

就像我在.csv文件中有1074行一样,但在cassandra中运行COPY from命令后,我只看到了130行

我可以有一些例子,我可以使用更好的复制命令,也有完整的行从.csv文件复制

我已经尝试了下面的复制命令。。。它给了我很好的结果,但没有显示我需要的所有记录


复制表1 (“域ID”、“值”、“描述”、“站点ID”、“orgid”、“testid”、“valueid”、“rowstamp”、“pluspcustomer”) 来自“/tmp/csv_files/csv_table1.csv”,标题为true,分隔符为 = ',' ; 使用7个子进程

使用[domainid,value, description、siteid、orgid、testid、valueid、rowstamp、pluspcustomer]。 已处理:1042行;速率:906行/秒;平均速率:1542行/秒 在0.676秒内从1个文件导入1042行(跳过0)


计数 130

(1排)



请帮助…

我的坏。。。此行在(.csv文件)列中有重复的条目,我已将其设置为分区键。我通过应用vlookup在excel中进行了检查。但在这种情况下,由于行数较少,很容易进行罚款。但如果我有一个记录,其中有更多的列,如50核心或更多,那么我不能使用Excel。。。我在一些文章中读到notepad++可以处理2GB的数据。我不确定我还没有试过。不过,如果有人能帮忙的话,我在将这些大的.csv导入Cassandra时仍然有问题。
SELECT count(*) FROM table1 ;