Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/377.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用java将数据从cassandra迁移到多个文件_Java_Cassandra 3.0_Data Migration - Fatal编程技术网

使用java将数据从cassandra迁移到多个文件

使用java将数据从cassandra迁移到多个文件,java,cassandra-3.0,data-migration,Java,Cassandra 3.0,Data Migration,我有一张结构如下的桌子 id |接收日期|数据 1 | 13.12.2020 |亚历克斯:1 2 | 14.12.2020 |亚历克斯:2 3 | 14.12.2020 | vova:999 4 | 15.12.2020 | vova:888 我将字段“数据”拆分为两个字段“名称”和“编号” alex=[1,2,3,4,5,…] vova=[999888777666555,…] 按名称分组数据并按名称迁移到文件的最佳解决方案是什么。 一个名字可能包含600万条记录。这些名字可能超过3000个。所

我有一张结构如下的桌子

id |接收日期|数据
1 | 13.12.2020 |亚历克斯:1
2 | 14.12.2020 |亚历克斯:2
3 | 14.12.2020 | vova:999
4 | 15.12.2020 | vova:888

我将字段“数据”拆分为两个字段“名称”和“编号”

alex=[1,2,3,4,5,…]
vova=[999888777666555,…]

按名称分组数据并按名称迁移到文件的最佳解决方案是什么。 一个名字可能包含600万条记录。这些名字可能超过3000个。所以我应该迁移3000*600万条记录(超过180亿条)。所以在迁移之后,我应该有包含alex和vova的文件(alex.bin,vova.bin)
迁移到该文件后,我应该将该文件下载到google cloud storage

,因为数据不是主键,我认为您必须读取完整的表。如果您能澄清您在从Cassandra读取数据和使用java程序创建文件时所关心的问题,您将得到更好的答案。@AbhishekGarg,如果我使用HashMap将数据分组到内存中,因此,我的应用程序的内存将耗尽。因为数据不是主键,所以我认为您必须进行完整的表读取。如果您能澄清您在从Cassandra读取数据和使用java程序创建文件时所关心的问题,您将得到更好的答案。@AbhishekGarg,如果我使用HashMap将数据分组到内存中,那么我的应用程序的内存将耗尽。