Pentaho 厨房被杀

Pentaho 厨房被杀,pentaho,kettle,data-integration,Pentaho,Kettle,Data Integration,我正在使用pentaho数据集成进行ETL。我正在ubuntu服务器上以shell脚本的形式运行这个作业。它正在运行一段时间,之后它将被杀死,而不会抛出任何错误。请帮助我是什么问题,如果我遗漏了什么,请告诉我 日志: 很可能是内存不足。运行ETL时检查机器的资源。很可能内存不足。运行ETL时检查机器的资源。最有可能的情况是,您的机器无法提供转换所需的内存,因此会自动终止转换。通过调整spoon.sh文件中的PENTAHO_DI_JAVA_选项,可以修改PDI内存分配。我也有同样的问题,下面是我所

我正在使用pentaho数据集成进行ETL。我正在ubuntu服务器上以shell脚本的形式运行这个作业。它正在运行一段时间,之后它将被杀死,而不会抛出任何错误。请帮助我是什么问题,如果我遗漏了什么,请告诉我

日志:


很可能是内存不足。运行ETL时检查机器的资源。

很可能内存不足。运行ETL时检查机器的资源。

最有可能的情况是,您的机器无法提供转换所需的内存,因此会自动终止转换。通过调整spoon.sh文件中的PENTAHO_DI_JAVA_选项,可以修改PDI内存分配。我也有同样的问题,下面是我所做的:

  • 在我的系统中创建了一个环境变量PENTAHO_DI_JAVA_OPTIONS。如果未设置此变量,kitchen将使用其默认值。创建这个系统变量使我能够根据转换的复杂性来减少或增加内存分配(至少在本地机器上进行测试时是这样)
  • 我的机器有8G内存,包括厨房在内的所有流程都已经用完了。因此,通过导出PENTAHO_DI_JAVA_OPTIONS=-Xms1g-Xmx3g减少了PDI内存需求。最小1G,最大3G
我可能错了,但它对我有效,即使转换引发了GC内存中断错误。至少它没有被默默地杀死

不必在专用的独立服务器中进行上述设置,因为除了PDI之外,没有其他进程在其中工作

我正在使用PDI8.3,iOS BigSur,这时进程被悄悄地终止了


希望这对某人有所帮助:)。

最有可能的情况是,您的计算机无法提供转换所需的内存,因此会自动终止转换。通过调整spoon.sh文件中的PENTAHO_DI_JAVA_选项,可以修改PDI内存分配。我也有同样的问题,下面是我所做的:

  • 在我的系统中创建了一个环境变量PENTAHO_DI_JAVA_OPTIONS。如果未设置此变量,kitchen将使用其默认值。创建这个系统变量使我能够根据转换的复杂性来减少或增加内存分配(至少在本地机器上进行测试时是这样)
  • 我的机器有8G内存,包括厨房在内的所有流程都已经用完了。因此,通过导出PENTAHO_DI_JAVA_OPTIONS=-Xms1g-Xmx3g减少了PDI内存需求。最小1G,最大3G
我可能错了,但它对我有效,即使转换引发了GC内存中断错误。至少它没有被默默地杀死

不必在专用的独立服务器中进行上述设置,因为除了PDI之外,没有其他进程在其中工作

我正在使用PDI8.3,iOS BigSur,这时进程被悄悄地终止了


希望这对某人有所帮助:)。

当它死后,日志中有什么?通常,即使作业/转换出错,Kitchen和Pan进程也会返回0状态。它显示了在出错停止的情况下的进度。请发布日志:使用如此有限的信息很难评估问题。我已附加了日志文件。您能告诉我文件的大小是否会导致此问题吗?我们在Win2003中运行一个JIRA实例,该实例开始随机“闪烁”(如中所示)。事实证明,当JVM达到它分配的堆空间上限时,它只是在系统日志(它是JVM的日志)中蒸发掉,而不是在应用程序日志中蒸发掉。因此,在苦思冥想了几天之后,我们发现Win2003 box无法以我们遇到的并发用户数运行JIRA,所以午夜切换到内存为8倍的Win2008RC2,我们很好。所以,看看JVM链,如果你还没有的话,看看它的队列。当它死的时候,日志中有什么?通常,即使作业/转换出错,Kitchen和Pan进程也会返回0状态。它显示了在出错停止的情况下的进度。请发布日志:使用如此有限的信息很难评估问题。我已附加了日志文件。您能告诉我文件的大小是否会导致此问题吗?我们在Win2003中运行一个JIRA实例,该实例开始随机“闪烁”(如中所示)。事实证明,当JVM达到它分配的堆空间上限时,它只是在系统日志(它是JVM的日志)中蒸发掉,而不是在应用程序日志中蒸发掉。因此,在苦思冥想了几天之后,我们发现Win2003 box无法以我们遇到的并发用户数运行JIRA,所以午夜切换到内存为8倍的Win2008RC2,我们很好。因此,请向下查看JVM链,如果您还没有看到的话,请查看它的队列。
INFO  14-03 11:46:52,369 - set_var - Dispatching started for transformation         [set_variable]
INFO  14-03 11:46:52,370 - Get rows from result - Finished processing (I=0, O=0, R=1, W=1, U=0, E=
INFO  14-03 11:46:52,370 - Set var - Setting environment variables...
INFO  14-03 11:46:52,371 - Set var - Set variable BOOK_PATH to value [...........]
INFO  14-03 11:46:52,371 - Set var - Set variable FOLDER_NAME to value [...........]
INFO  14-03 11:46:52,375 - Set var - Finished after 1 rows.
INFO  14-03 11:46:52,375 - Set var - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)
INFO  14-03 11:46:52,377 - validate - Starting entry [file]
INFO  14-03 11:46:52,378 - file - Loading transformation from XML file 
INFO  14-03 11:46:52,386 - file - Dispatching started for transformation [file][file:///c:/check/file.txt]
INFO  14-03 11:46:52,390 - path - Optimization level set to 9.
INFO  14-03 11:46:52,391 - filename - Finished processing (I=0, O=0, R=0, W=13, U=0, E=0)
INFO  14-03 11:46:52,403 - path - Finished processing (I=0, O=0, R=13, W=13, U=0, E=0)
INFO  14-03 11:46:52,407 - filenames - Finished processing (I=0, O=14, R=13, W=13, U=0, E=0)
INFO  14-03 11:46:52,409 - validate - Starting entry [Check_database]
INFO  14-03 11:46:52,410 - Check_database - Loading transformation from XML file[file:///c:/check/missing.ktr]
INFO  14-03 11:46:52,418 - count - Dispatching started for transformation [count]
INFO  14-03 11:46:52,432 - count - Finished reading query, closing connection.
INFO  14-03 11:46:52,433 - Set var - Setting environment variables...
INFO  14-03 11:46:52,433 - count - Finished processing (I=1, O=0, R=0, W=1, U=0, E=0)
INFO  14-03 11:46:52,433 - Set var - Set variable Count to value [0]
INFO  14-03 11:46:52,436 - Set var - Finished after 1 rows.
INFO  14-03 11:46:52,436 - Set var - Finished processing (I=0, O=0, R=1, W=1, U=0, E=0)
Killed `