自动将大量批处理数据文件导入apache cassandra
我有1198个CSV文件,每个都超过1 GB。我想将它们全部导入ApacheCassandra表。是否有一种方法可以自动执行此操作?如果要将所有csv导入到一个表中,请将所有csv移动到一个目录中。i、 e自动将大量批处理数据文件导入apache cassandra,cassandra,insert,Cassandra,Insert,我有1198个CSV文件,每个都超过1 GB。我想将它们全部导入ApacheCassandra表。是否有一种方法可以自动执行此操作?如果要将所有csv导入到一个表中,请将所有csv移动到一个目录中。i、 edata现在您可以将完整目录导入到一个表中,比如说data\u table COPY data_table FROM 'data/*'; 顺便说一下,您正在导入大量数据,您应该 使用CQLSTABLEWRITER生成SSTable 使用sstableloader加载现有SSTables 是
data
现在您可以将完整目录导入到一个表中,比如说data\u table
COPY data_table FROM 'data/*';
顺便说一下,您正在导入大量数据,您应该
- 使用CQLSTABLEWRITER生成SSTable
- 使用sstableloader加载现有SSTables