在R中的所有并行作业完成后提交新脚本
我有一个R脚本,它可以创建多个脚本并将这些脚本同时提交到计算机集群,在所有多个脚本都完成并将输出写入相应的文件夹后,我想自动启动另一个R脚本,该脚本可以处理这些输出 我还没有弄清楚在R中是否有这样做的方法:函数“wait”不是我想要的,因为脚本作为不同的作业提交,每个作业在不同的时间完成并写入其输出文件,但我实际上希望在所有输出出现后运行后续脚本 我想到的一种方法是计算已创建的文件,如果有正确数量的输出文件,则提交下一个脚本。然而,要做到这一点,我想我必须打开一个脚本,不时检查文件的存在,我不确定这是否是一个好主意,因为可能需要一天或更长的时间才能完成第一个脚本 你能帮我找到解决办法吗 非常感谢你的帮助在R中的所有并行作业完成后提交新脚本,r,parallel-processing,R,Parallel Processing,我有一个R脚本,它可以创建多个脚本并将这些脚本同时提交到计算机集群,在所有多个脚本都完成并将输出写入相应的文件夹后,我想自动启动另一个R脚本,该脚本可以处理这些输出 我还没有弄清楚在R中是否有这样做的方法:函数“wait”不是我想要的,因为脚本作为不同的作业提交,每个作业在不同的时间完成并写入其输出文件,但我实际上希望在所有输出出现后运行后续脚本 我想到的一种方法是计算已创建的文件,如果有正确数量的输出文件,则提交下一个脚本。然而,要做到这一点,我想我必须打开一个脚本,不时检查文件的存在,我不确
-fra我认为你的看法是错误的:
- 根本不是R问题,R恰好是批处理作业的客户机
- 这是队列/批处理程序可以在集群上解决的问题
- 最糟糕的情况是,您可以在shell(或R脚本)中等待/休眠,直到触及“最终条件已达到”文件
- 相互依赖关系也可以用make表示
[test-f done.txt&&rm done.txt
。最后一行:触摸done.txt
。然后另一个脚本在[!-f done.txt]时执行;睡觉5;完成
或其他什么。但这是一个超级黑客行为。一定要和当地专家谈谈:如果有集群,通常有更好的解决方案:slurm、torque、pbs、condor……哦,欢迎来到StackOverflow。它将进行“向上投票”(点击指向上方的三角形)和/或“接受”(点击TigkMax;只有当你问问题的人看到你)回答你认为是有用的。