Amazon redshift 如何在sqlworkbench/J上提高导入速度
尝试如下,但导入速度非常慢,速度为3行/秒Amazon redshift 如何在sqlworkbench/J上提高导入速度,amazon-redshift,sql-workbench-j,Amazon Redshift,Sql Workbench J,尝试如下,但导入速度非常慢,速度为3行/秒 WbImport -file=c:/temp/_Cco_.txt -table=myschema.table1 -filecolumns=warehouse_id,bin_id,cluster_name ---deleteTarget -batchSize=10000 -commitBatch WbImport使用INSERT加载数据。这是将数据加载到红移中最
WbImport -file=c:/temp/_Cco_.txt
-table=myschema.table1
-filecolumns=warehouse_id,bin_id,cluster_name
---deleteTarget
-batchSize=10000
-commitBatch
WbImport
使用INSERT
加载数据。这是将数据加载到红移中最糟糕的方法
您应该使用COPY
命令执行此操作,如红移文档中所述:
WbInsert可以使用Postgres JDBC驱动程序的
使用
在这种情况下,将忽略选项-batchSize
和-commitBatch
,因此您应该删除它们
然后SQL Workbench/J将基本上使用与复制相同的功能。。。从STDIN
。这应该比常规的INSERT语句快得多
这需要根据COPY命令的要求格式化输入文件。您使用的是哪种DBMS产品和JDBC驱动程序?你可能是通过慢速网络连接发送的吗?您是否在
机密
表中定义了许多索引?这三列的数据类型是什么?关系数据库、jdbc:redshift、带宽良好的仓库网络、“机密”只包含2个索引,3个varchar数据类型。嘿,我不是这个redshift集群的所有者,这就是为什么我不能使用大容量复制模式。寻找一个最好的选择。也许我会尝试使用另一个ide,它不需要使用s3权限。
WbImport -file=c:/temp/_Cco_.txt
-usePgCopy
-table=myschema.table1
-filecolumns=warehouse_id,bin_id,cluster_name