Pentaho水壶“;对插入使用批更新“;选项

Pentaho水壶“;对插入使用批更新“;选项,pentaho,kettle,Pentaho,Kettle,请有人给我解释一下Pentaho水壶表输出或更新步骤中“使用批量更新插入”选项的任何陷阱或缺点吗?我的同事的一个观点是,如果commit size设置为1000,并且如果这1000条记录中的任何一条没有被插入/更新,那么这整批1000条记录都将从更新中写入该表。我不知道它是真是假,目前我自己也无法测试 如果此选项未启用,但我继续使用更高的提交大小(相同的1000),该怎么办 这实际上只是数据库提交大小。最佳做法是将其设置在100到2000之间 如果将其设置得太小,则会减慢转换速度;同样,如果将其

请有人给我解释一下Pentaho水壶表输出或更新步骤中“使用批量更新插入”选项的任何陷阱或缺点吗?我的同事的一个观点是,如果commit size设置为1000,并且如果这1000条记录中的任何一条没有被插入/更新,那么这整批1000条记录都将从更新中写入该表。我不知道它是真是假,目前我自己也无法测试


如果此选项未启用,但我继续使用更高的提交大小(相同的1000),该怎么办

这实际上只是数据库提交大小。最佳做法是将其设置在100到2000之间

如果将其设置得太小,则会减慢转换速度;同样,如果将其设置得太大,则会减慢转换速度,甚至会耗尽内存。你需要玩的大小,因为它真的只是试错


就任何一种错误而言,至少在4.1中,一旦转换到达一条错误记录,转换就会失败。因此,您的意思是,在4.1版之前,存在一个问题,即如果批处理的一条记录失败,则整个批处理都会失败。我使用的是CE5.0.1。所以我可以继续使用中等提交大小,比如说200到500个批量更新?我们的每日/每周交易记录大小可能在500到5000之间。