使用R并行程序监视内存使用情况

使用R并行程序监视内存使用情况,r,memory-management,parallel-processing,R,Memory Management,Parallel Processing,当使用R parallel时,特别是使用SOCK类型的集群时,有没有一种方法可以监控真正的内存使用情况 我尝试了profvis,但它返回的内存占用比串行语句的并行模拟更小。比如说, lapply(...) parLapply(...) 其中,(…)是相同的语句 据我所知,对于并行语句,内存使用应该等于或大于,因为需要复制数据(至少对于SOCK集群是这样)。非常感谢您的反馈。您想精确监控吗?我通常做的就是在执行过程中查看计算机的全局系统监视器。您好,我最希望的是它的记录。我将考虑通过导出自定义函

当使用R parallel时,特别是使用SOCK类型的集群时,有没有一种方法可以监控真正的内存使用情况

我尝试了
profvis
,但它返回的内存占用比串行语句的并行模拟更小。比如说,

lapply(...)
parLapply(...)
其中,
(…)
是相同的语句


据我所知,对于并行语句,内存使用应该等于或大于,因为需要复制数据(至少对于SOCK集群是这样)。非常感谢您的反馈。

您想精确监控吗?我通常做的就是在执行过程中查看计算机的全局系统监视器。您好,我最希望的是它的记录。我将考虑通过导出自定义函数来监视每个工作进程上的内存使用情况的不同方法。您是否在整个脚本中使用了
profvis
,还是在内部使用了它(如在foreach调用中)?我
profvis
整个脚本。如果您建议将它放在每个
foreach
中,它可能会工作,但我必须测试它。是的。由于内部工作是由其他R会话完成的,所以我认为没有完整的内存使用是正常的。