Sql server Pentaho数据集成SQL Server表输出步骤性能问题

Sql server Pentaho数据集成SQL Server表输出步骤性能问题,sql-server,pentaho-spoon,pentaho-data-integration,Sql Server,Pentaho Spoon,Pentaho Data Integration,我有一个用于此问题的示例转换设置: 表格输入步骤->表格输出步骤 运行转换并查看实时统计数据时,我看到: 表输出步骤每秒加载约11行,速度非常慢。表输出步骤中的提交大小设置为1000。SQL输入将返回40k行,当它自己运行而不指向表输出时,将在10秒内返回。输入和输出表位于同一数据库中 系统信息: pdi 8.0.0.0 视窗10 SQL Server 2017表输出通常非常缓慢 如果我没有完全弄错的话,它会为每个传入的行进行插入,这需要很多时间 一种更快的方法是使用“批量加载”,即使用“加载

我有一个用于此问题的示例转换设置:

表格输入步骤->表格输出步骤

运行转换并查看实时统计数据时,我看到:

表输出步骤每秒加载约11行,速度非常慢。表输出步骤中的提交大小设置为1000。SQL输入将返回40k行,当它自己运行而不指向表输出时,将在10秒内返回。输入和输出表位于同一数据库中

系统信息: pdi 8.0.0.0 视窗10
SQL Server 2017表输出通常非常缓慢

如果我没有完全弄错的话,它会为每个传入的行进行插入,这需要很多时间

一种更快的方法是使用“批量加载”,即使用“加载数据”“将FIFO文件”“填充到表中…”将数据从釜内流到命名管道

您可以在此处阅读有关批量加载工作原理的更多信息:

无论如何:如果您在同一数据库中从一个表输入另一个表,那么我会创建一个“执行SQL脚本”步骤,并用一个查询进行更新

如果您阅读这篇文章,您可以了解有关在单个SQL查询中从另一个表更新表的更多信息: