Jdbc 表插入性能瓶颈亚马逊红移
当在Redhsift表中使用batch insert()插入记录时,spring框架会退回到逐个插入,这会花费更多的时间Jdbc 表插入性能瓶颈亚马逊红移,jdbc,amazon-redshift,Jdbc,Amazon Redshift,当在Redhsift表中使用batch insert()插入记录时,spring框架会退回到逐个插入,这会花费更多的时间 (main)org.springframework.jdbc.support.JdbcUtils:jdbc驱动程序不支持批量更新 是否仍然可以在红移表中启用批处理更新 如果没有,是否仍有改进红移中的表插入性能的方法 我尝试过向jdbcurl添加?rewriteBatchedStatements=true,但仍然是一样的。建议使用copy命令进行批插入。因此,comon过程是使
(main)org.springframework.jdbc.support.JdbcUtils:jdbc驱动程序不支持批量更新
是否仍然可以在红移表中启用批处理更新
如果没有,是否仍有改进红移中的表插入性能的方法
我尝试过向jdbcurl添加
?rewriteBatchedStatements=true
,但仍然是一样的。建议使用copy命令进行批插入。因此,comon过程是使用unload命令将数据从redshift卸载到S3(如果要插入的数据来自查询结果),然后运行引用S3中数据位置的copy命令。这比插入更有效
UNLOAD ('my SQL statement')
TO 's3::my-s3-target-location'
FORMAT PARQUET;
COPY my_target_table (col1, col2, ...)
FROM 's3::my-s3-target-location'
FORMAT PARQUET;
以下是文件: