使用java将数据从cassandra迁移到多个文件
我有一张结构如下的桌子 id |接收日期|数据使用java将数据从cassandra迁移到多个文件,java,cassandra-3.0,data-migration,Java,Cassandra 3.0,Data Migration,我有一张结构如下的桌子 id |接收日期|数据 1 | 13.12.2020 |亚历克斯:1 2 | 14.12.2020 |亚历克斯:2 3 | 14.12.2020 | vova:999 4 | 15.12.2020 | vova:888 我将字段“数据”拆分为两个字段“名称”和“编号” alex=[1,2,3,4,5,…] vova=[999888777666555,…] 按名称分组数据并按名称迁移到文件的最佳解决方案是什么。 一个名字可能包含600万条记录。这些名字可能超过3000个。所
1 | 13.12.2020 |亚历克斯:1
2 | 14.12.2020 |亚历克斯:2
3 | 14.12.2020 | vova:999
4 | 15.12.2020 | vova:888
我将字段“数据”拆分为两个字段“名称”和“编号” alex=[1,2,3,4,5,…]
vova=[999888777666555,…] 按名称分组数据并按名称迁移到文件的最佳解决方案是什么。 一个名字可能包含600万条记录。这些名字可能超过3000个。所以我应该迁移3000*600万条记录(超过180亿条)。所以在迁移之后,我应该有包含alex和vova的文件(alex.bin,vova.bin)
迁移到该文件后,我应该将该文件下载到google cloud storage,因为数据不是主键,我认为您必须读取完整的表。如果您能澄清您在从Cassandra读取数据和使用java程序创建文件时所关心的问题,您将得到更好的答案。@AbhishekGarg,如果我使用HashMap将数据分组到内存中,因此,我的应用程序的内存将耗尽。因为数据不是主键,所以我认为您必须进行完整的表读取。如果您能澄清您在从Cassandra读取数据和使用java程序创建文件时所关心的问题,您将得到更好的答案。@AbhishekGarg,如果我使用HashMap将数据分组到内存中,那么我的应用程序的内存将耗尽。