Apache zookeeper Chronos+;中间层。如何并行执行任务?

Apache zookeeper Chronos+;中间层。如何并行执行任务?,apache-zookeeper,mesosphere,Apache Zookeeper,Mesosphere,大家好。 我有Chronos、Mesos和Zookeeper的单一服务器,我想用Chronos作为工具,每天运行我的脚本。今天的一些剧本,明天的一些等等。。 问题是,当我试图一个接一个地启动任务时,只有第一个任务正确执行,另一个任务在某处丢失。如果我先启动,然后暂停3-4秒,然后启动另一个-它们都是启动的,但顺序是。 我需要同时运行它们。 有人能给点提示吗?可能有一些设置我必须更改?您应该以UTC时间为单位设置两个任务启动的时间,重复时间为24小时。在这种情况下,没有理由不并行执行任务。检查me

大家好。 我有Chronos、Mesos和Zookeeper的单一服务器,我想用Chronos作为工具,每天运行我的脚本。今天的一些剧本,明天的一些等等。。 问题是,当我试图一个接一个地启动任务时,只有第一个任务正确执行,另一个任务在某处丢失。如果我先启动,然后暂停3-4秒,然后启动另一个-它们都是启动的,但顺序是。 我需要同时运行它们。
有人能给点提示吗?可能有一些设置我必须更改?

您应该以UTC时间为单位设置两个任务启动的时间,重复时间为24小时。在这种情况下,没有理由不并行执行任务。检查mesos上沙箱中的chronos日志和任务日志是否存在错误

您当然可以在同一台机器上运行所有这些组件(Chronos、master、slave和ZK),尽管ZK在拥有多个主设备的HA后确实很有价值


正如user4103259所建议的,检查主日志和从日志中丢失/失败的taskId,以查看它到底发生了什么。在任务启动/运行/完成过程中的任何地方,任务可能会由于多种原因而丢失/失败。

当我尝试在第一个任务仍在运行时运行第二个任务时,Chronos不会启动第二个任务并将其标记为“失败”。以下是日志的一部分:
com.airbnb.scheduler.mesos.MesosJobFramework状态更新警告:id为'ct:141217822735:0:2'的任务已丢失2014年10月1日11:44:44 AM com.airbnb.scheduler.jobs.JobScheduler handleFailedTask警告:作业的任务:2失败。2014年10月1日上午11:44:44
您能检查从机内部的日志以查看第二个任务的执行者在哪里中断吗?您的第二项任务似乎存在一些问题(要么需要某些资源,要么以某种方式依赖于另一项任务,等等)。我没有遇到并行运行计划任务的问题。绝对正确!要检查配置或任务是否有问题,请将第二个任务替换为某个虚拟任务。。。只是想看看它是否刹车两个。如果我错了,请纠正我,但有必要让主机和从机在不同的机器上,对吗?UPD:谢谢大家的建议,但我们应用程序的架构已经改变,Chronos和friends变得不必要了。