R中并行计算中复杂数据依赖的处理
我希望使用R中的R中并行计算中复杂数据依赖的处理,r,parallel-processing,R,Parallel Processing,我希望使用R中的parallel包并行运行几个类似的稀疏相关作业。 作业的本质是,其中一些作业依赖于其他作业,其中依赖关系是一个非循环有向图(不是树)。此外,每个作业的性能在不同的运行时间也会有所不同 由于执行时间不同,我想clusterApplyLB在工作节点之间对作业进行负载平衡,由于同样的原因,我无法事先确定作业的最佳顺序 因此,给定的作业列表{1,2,3,…}和邻接矩阵M: 只要作业的所有依赖项M[I]都已确认成功完成,我就会将作业I扔进“池”中 甚至可以使用parallel动态建立工作
parallel
包并行运行几个类似的稀疏相关作业。作业的本质是,其中一些作业依赖于其他作业,其中依赖关系是一个非循环有向图(不是树)。此外,每个作业的性能在不同的运行时间也会有所不同 由于执行时间不同,我想
clusterApplyLB
在工作节点之间对作业进行负载平衡,由于同样的原因,我无法事先确定作业的最佳顺序
因此,给定的作业列表{1,2,3,…}
和邻接矩阵M
:只要作业的所有依赖项
M[I]
都已确认成功完成,我就会将作业I
扔进“池”中
甚至可以使用parallel
动态建立工作池吗?如果是,我如何才能做到这一点