Memory 水壶pentaho内存清理结束后的一次转换

Memory 水壶pentaho内存清理结束后的一次转换,memory,pentaho,kettle,pdi,Memory,Pentaho,Kettle,Pdi,使用kettle Pentaho将csv文件加载到数据库中在作业中包含的每个转换结束后,内存仍保持未清理状态 如何在改造结束后强制清理 我正在使用符合以下要求的合适设置: 这提供了一个解决方法: 解决方法:设置“清除结果行/文件列表”的虚拟转换 定期包括虚拟转换,其中“高级”设置: “执行前是否清除结果行列表?” “执行前是否清除结果文件列表?” 检查过了 你怎么说内存没有被清理?我的工作中有10个转换。我使用“我的操作系统的性能选项卡”检查使用的内存。开始时,当我启动勺子时,使用的内存是2G

使用kettle Pentaho将csv文件加载到数据库中在作业中包含的每个转换结束后,内存仍保持未清理状态

如何在改造结束后强制清理

我正在使用符合以下要求的合适设置:

这提供了一个解决方法:

解决方法:设置“清除结果行/文件列表”的虚拟转换

定期包括虚拟转换,其中“高级”设置:

“执行前是否清除结果行列表?”

“执行前是否清除结果文件列表?”

检查过了


你怎么说内存没有被清理?我的工作中有10个转换。我使用“我的操作系统的性能选项卡”检查使用的内存。开始时,当我启动勺子时,使用的内存是2G。当我开始工作时,在加载csv的第一次转换结束时,使用的内存会上升到8G。最后使用的内存仍然是8G。在第一次转换之后,如果我尝试加载另一个csv,那么这个过程会非常慢,我认为问题在于,kettle没有足够的内存,因为在第一次转换中已经花费了6Gtransformation@Diego,你能在这里发布你的工作并转载吗?CSV的尺寸是多少?您是否并行执行每个转换?尽管我的工作很复杂,但仅通过一个简单的转换就可以重现问题:1)csv输入)2)插入数据库(大小为1.3GB 907373行,共93列)。水壶版本5.1。0@Diego,转换是否包含“将行复制到结果”步骤?在不,那么它看起来像一个错误。还有,你试过水壶6.0吗?如果问题是针对最新版本复制的,那么报告一个bug是有意义的
KETTLE_MAX_LOG_SIZE_IN_LINES=1     
KETTLE_MAX_JOB_TRACKER_SIZE=1     
KETTLE_CARTE_OBJECT_TIMEOUT_MINUTES=1     
KETTLE_MAX_JOB_ENTRIES_LOGGED=1     
KETTLE_STEP_PERFORMANCE_SNAPSHOT_LIMIT=1