Apache spark 无纱线/介观的Spark作业调度器_Apache Spark_Scheduler_Oozie_Datastax Enterprise

Apache spark 无纱线/介观的Spark作业调度器

apache-spark

Apache spark 无纱线/介观的Spark作业调度器,apache-spark,scheduler,oozie,datastax-enterprise,Apache Spark,Scheduler,Oozie,Datastax Enterprise,我想在指定的时间间隔内安排一些spark作业。我发现的每个调度器仅适用于纱线/Mesos（例如Oozie、Luigi、Azkaban、Airflow）。我正在运行Datastax，它没有选择运行纱线或Mesos。我在某个地方看到Oozie可以和Datastax合作，但找不到任何帮助。有没有解决这个问题的办法，或者唯一的办法就是自己编写一个调度程序？好的旧Linux CRONTAB可以在“指定的时间间隔”运行某些东西，例如，5/15****myjob将从0:05开始，每15分钟24/7运行一次“m

我想在指定的时间间隔内安排一些spark作业。我发现的每个调度器仅适用于纱线/Mesos（例如Oozie、Luigi、Azkaban、Airflow）。我正在运行Datastax，它没有选择运行纱线或Mesos。我在某个地方看到Oozie可以和Datastax合作，但找不到任何帮助。有没有解决这个问题的办法，或者唯一的办法就是自己编写一个调度程序？

好的旧Linux CRONTAB可以在“指定的时间间隔”运行某些东西，例如，

5/15****myjob

将从0:05开始，每15分钟24/7运行一次“myjob”。顺便说一句，Oozie现在支持CRONTAB语法，因为它是经过验证的……好的旧Linux CRONTAB可以以“指定的时间间隔”运行某些东西，例如，

5/15****myjob

将从0:05开始，每15分钟24/7运行一次“myjob”。顺便说一下，Oozie现在支持CRONTAB语法，因为它是经过验证的。。。