Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/289.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon redshift 如何在sqlworkbench/J上提高导入速度_Amazon Redshift_Sql Workbench J - Fatal编程技术网

Amazon redshift 如何在sqlworkbench/J上提高导入速度

Amazon redshift 如何在sqlworkbench/J上提高导入速度,amazon-redshift,sql-workbench-j,Amazon Redshift,Sql Workbench J,尝试如下,但导入速度非常慢,速度为3行/秒 WbImport -file=c:/temp/_Cco_.txt -table=myschema.table1 -filecolumns=warehouse_id,bin_id,cluster_name ---deleteTarget -batchSize=10000 -commitBatch WbImport使用INSERT加载数据。这是将数据加载到红移中最

尝试如下,但导入速度非常慢,速度为3行/秒

WbImport -file=c:/temp/_Cco_.txt
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name
         ---deleteTarget
         -batchSize=10000
         -commitBatch 

WbImport
使用
INSERT
加载数据。这是将数据加载到红移中最糟糕的方法

您应该使用
COPY
命令执行此操作,如红移文档中所述:

WbInsert可以使用Postgres JDBC驱动程序的

使用

在这种情况下,将忽略选项
-batchSize
-commitBatch
,因此您应该删除它们

然后SQL Workbench/J将基本上使用与
复制相同的功能。。。从STDIN
。这应该比常规的INSERT语句快得多


这需要根据COPY命令的要求格式化输入文件。

您使用的是哪种DBMS产品和JDBC驱动程序?你可能是通过慢速网络连接发送的吗?您是否在
机密
表中定义了许多索引?这三列的数据类型是什么?关系数据库、jdbc:redshift、带宽良好的仓库网络、“机密”只包含2个索引,3个varchar数据类型。嘿,我不是这个redshift集群的所有者,这就是为什么我不能使用大容量复制模式。寻找一个最好的选择。也许我会尝试使用另一个ide,它不需要使用s3权限。
WbImport -file=c:/temp/_Cco_.txt
         -usePgCopy
         -table=myschema.table1
         -filecolumns=warehouse_id,bin_id,cluster_name