Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cassandra/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
自动将大量批处理数据文件导入apache cassandra_Cassandra_Insert - Fatal编程技术网

自动将大量批处理数据文件导入apache cassandra

自动将大量批处理数据文件导入apache cassandra,cassandra,insert,Cassandra,Insert,我有1198个CSV文件,每个都超过1 GB。我想将它们全部导入ApacheCassandra表。是否有一种方法可以自动执行此操作?如果要将所有csv导入到一个表中,请将所有csv移动到一个目录中。i、 edata现在您可以将完整目录导入到一个表中,比如说data\u table COPY data_table FROM 'data/*'; 顺便说一下,您正在导入大量数据,您应该 使用CQLSTABLEWRITER生成SSTable 使用sstableloader加载现有SSTables 是

我有1198个CSV文件,每个都超过1 GB。我想将它们全部导入ApacheCassandra表。是否有一种方法可以自动执行此操作?

如果要将所有csv导入到一个表中,请将所有csv移动到一个目录中。i、 e
data
现在您可以将完整目录导入到一个表中,比如说
data\u table

COPY data_table FROM 'data/*';
顺便说一下,您正在导入大量数据,您应该

  • 使用CQLSTABLEWRITER生成SSTable
  • 使用sstableloader加载现有SSTables

是否所有CSV在模式和数据类型方面都相同?是否希望将所有CSV导入到一个表中?两个问题都是肯定的。