Performance 将cpu绑定的压缩作业分发到多台计算机？

前几天，我需要在我们的网络上归档大量数据，我感到沮丧的是，我无法立即利用多台机器的能力来加速这一过程

我知道创建分布式作业管理系统是从命令行归档工具的飞跃

我现在想知道这种分布式性能场景的最简单解决方案是什么。定制工具是否始终是一项要求，或者是否有方法使用标准实用程序并以某种方式在更高级别上透明地分配负载

---

谢谢您的建议。

解决这个问题的一种方法可能是使用分布式make系统跨网络硬件运行脚本。这是（或曾经是）GNU Make（某些实现）的实验性特性。Solaris实现了一个用于相同目的的dmake实用程序

另一种更重要的方法可能是使用Condor来分发归档作业。但我认为您不会只为每年两次的归档运行安装Condor，它更像是一个定期从网络硬件中清除备用周期的系统

SCons build系统实际上是一个基于Python的make替代品，可能会被说服跨网络交付工作

同样，您可以使用ssh脚本在联网PC上启动作业

---

因此，有几种方法可以实现这一点，而不必承担并行编程带来的所有乐趣。

解决这一问题的一种方法可能是使用分布式make系统跨网络硬件运行脚本。这是（或曾经是）GNU Make（某些实现）的实验性特性。Solaris实现了一个用于相同目的的dmake实用程序

另一种更重要的方法可能是使用Condor来分发归档作业。但我认为您不会只为每年两次的归档运行安装Condor，它更像是一个定期从网络硬件中清除备用周期的系统

SCons build系统实际上是一个基于Python的make替代品，可能会被说服跨网络交付工作

同样，您可以使用ssh脚本在联网PC上启动作业

---

因此，有几种方法可以实现这一点，而不必使用并行编程带来的所有乐趣。

谢谢你，马克，这是非常周到的。你为我提供了很多探索的途径！Condor看起来特别有趣，虽然您在这些特定归档需求的有限时间表中是正确的，但可能不值得单独使用它，也许还有其他方法可以应用它，我即将意识到！再次感谢。谢谢马克，你想得真周到。你为我提供了很多探索的途径！Condor看起来特别有趣，虽然您在这些特定归档需求的有限时间表中是正确的，但可能不值得单独使用它，也许还有其他方法可以应用它，我即将意识到！再次感谢。