Pentaho:表输出需要更多时间插入记录

Pentaho:表输出需要更多时间插入记录,pentaho,pentaho-spoon,pentaho-data-integration,Pentaho,Pentaho Spoon,Pentaho Data Integration,我们希望将表数据从一个数据库复制到另一个数据库。桌子 他有300万张唱片。我使用了表输出步骤。我已设置了所有必需的 参数。但这仍然需要很长时间 "rewriteBatchedStatements" = "true" "net_write_timeout" = "12000" "zeroDateTimeBehavior" = "convertToNull" "useServerPrepStmts" = "false" "useCursorFetch" = "true" "useCompressio

我们希望将表数据从一个数据库复制到另一个数据库。桌子 他有300万张唱片。我使用了表输出步骤。我已设置了所有必需的 参数。但这仍然需要很长时间

"rewriteBatchedStatements" = "true"
"net_write_timeout" = "12000"
"zeroDateTimeBehavior" = "convertToNull"
"useServerPrepStmts" = "false"
"useCursorFetch" = "true"
"useCompression" = "true"
提交大小为500。我也试着把它增加到10000

有没有办法调整这个?或者我可以使用的任何其他步骤?因为在
SQLyog工具,将表的数据从一个数据库复制到另一个数据库不需要花费太多时间。几乎不需要一分钟。

目标数据库是什么(Oracle、PostgreSQL等)?您是否尝试过使用工具自己的加载程序批量加载数据?1分钟通常是我在3M行中得到的时间,所以可能确实出了问题。目标数据库是MySQL。我试着用MySQL自己的加载程序加载。但是我想通过Pentaho加载,因为Pentaho的主要目的是为了更快地加载。那么,我们能用Pentaho本身快速装载吗?但是当你批量装载时会发生什么呢?如果速度快,则表明PDI安装/转换有问题。如果不是,则说明数据库有问题。目标数据库是什么(Oracle、PostgreSQL等)?您是否尝试过使用工具自己的加载程序批量加载数据?1分钟通常是我在3M行中得到的时间,所以可能确实出了问题。目标数据库是MySQL。我试着用MySQL自己的加载程序加载。但是我想通过Pentaho加载,因为Pentaho的主要目的是为了更快地加载。那么,我们能用Pentaho本身快速装载吗?但是当你批量装载时会发生什么呢?如果速度快,则表明PDI安装/转换有问题。如果没有,则说明数据库有问题。