Java 插入Impala表与写入HDFS_Java_Arraylist_Impala

Java 插入Impala表与写入HDFS

java

Java 插入Impala表与写入HDFS,java,arraylist,impala,Java,Arraylist,Impala,我有大约10000条记录（在Java中存储为ArrayList）。我想把这些记录插入黑斑羚我应该使用插入表分区值直接插入到impala吗。（我不确定一条sql语句中可以插入多少条记录。）或者我应该将这些记录写入HDFS，然后alterImpala表哪种方式比较好？或者还有其他解决办法吗而且，如果我每5分钟做一次，我怎么能避免在一个分区（按小时分区）中有这么多小文件？这些将在每个分区中生成12个小文件，因此这会影响查询速度吗？您最好执行以下操作：在impala中创建表作为与HDFS路由关

我有大约10000条记录（在Java中存储为ArrayList）。我想把这些记录插入黑斑羚

我应该使用

插入表分区值

直接插入到impala吗。（我不确定一条sql语句中可以插入多少条记录。）

或者我应该将这些记录写入HDFS，然后

alterImpala

表

哪种方式比较好？或者还有其他解决办法吗

而且，如果我每5分钟做一次，我怎么能避免在一个分区（按小时分区）中有这么多小文件？这些将在每个分区中生成12个小文件，因此这会影响查询速度吗？

您最好执行以下操作：

在impala中创建表作为与HDFS路由关联的外部表

直接在HDFS中插入，如果可能的话，每天，每小时可能很少

执行invalidatemetada$TABLE_NAME命令，使数据可见

我希望答案对你有用

问候

你能做的最好的事情就是：

在impala中创建表作为与HDFS路由关联的外部表

直接在HDFS中插入，如果可能的话，每天，每小时可能很少

执行invalidatemetada$TABLE_NAME命令，使数据可见

我希望答案对你有用

问候