Linux 使用开源/免费软件批处理作业依赖项

我经营着一家大型数据仓库工厂，在那里我们有很多夜间作业在持续运行，但许多作业在开始之前依赖于提取或数据加载过程。目前，我们使用“昂贵的调度系统”来解决这些问题

是否有任何方法可以使用开源或免费的unix/linux工具（如cron）设置作业依赖关系

搬到一个开放的soruce解决方案将是伟大的，节省我们很多

向马特

我去年致意（也许现在Serverfault会是一个更好的地方？）。不幸的是，似乎没有一个简单的、安装即用的解决方案。

I去年（也许现在Serverfault会是一个更好的地方？）。不幸的是，似乎没有一个简单的、安装即用的解决方案。

本机无法处理此问题。加载数据的进程能否在完成时写出状态文件？这将允许后续作业在执行实际工作之前检查状态文件。显然，这不是一个理想的解决方案（我怀疑失败点太多了），但对于您试图实现的目标来说，它可能已经足够好了。

无法从本机处理此问题。加载数据的进程能否在完成时写出状态文件？这将允许后续作业在执行实际工作之前检查状态文件。显然，这不是一个理想的解决方案（我怀疑失败点太多了），但对于您正在尝试完成的任务来说，它可能已经足够好了。

可以这样做。您可以将其设置为cron替换，在预定时间运行任意命令，并且可以设置“类”，以便仅在启用某些类时执行某些操作。类可以是从“这是一个Linux系统”到“它当前在小时后5到10分钟之间”到“系统负载高于值x”到“我刚才指定的这个任意shell命令返回true”的任何内容，因此您可以设置类以指示您的作业依赖性

我怀疑这是否会像调度系统那样强大（依赖项必须通过配置类手动设置，并发调度需要额外的脚本或配置工作），但它是免费的、开源的

Cfengine的第2版使用起来并不特别愉快（用“它的[sic]语法杀死小猫”的话说）。我还没有用过CF3引擎。具有与Cfengine类似的设计目标，并且可能更易于使用。

可以这样做。您可以将其设置为cron替换，在预定时间运行任意命令，并且可以设置“类”，以便仅在启用某些类时执行某些操作。类可以是从“这是一个Linux系统”到“它当前在小时后5到10分钟之间”到“系统负载高于值x”到“我刚才指定的这个任意shell命令返回true”的任何内容，因此您可以设置类以指示您的作业依赖性

我怀疑这是否会像调度系统那样强大（依赖项必须通过配置类手动设置，并发调度需要额外的脚本或配置工作），但它是免费的、开源的

---

Cfengine的第2版使用起来并不特别愉快（用“它的[sic]语法杀死小猫”的话说）。我还没有用过CF3引擎。具有与Cfengine类似的设计目标，并且可能更易于使用。

Schedulix是一个针对Linux的开源工作负载自动化解决方案：

---

Schedulix是一种针对Linux的开源工作负载自动化解决方案：

---

Cron对依赖项一无所知。我建议更新您的问题标题，以便有机会获得更有意义的答案。Cron对依赖项一无所知。我建议更新您的问题标题，以便有机会获得更有意义的答案。必须启动以下过程并轮询状态。这真的不是那么优雅，这是我希望调度器能够控制的事情。这真的不是那么优雅，这是我希望调度器能够控制的事情。