Apache spark 在prem dynamic spark群集上运行并行作业

我是spark的新手，我们需要建立一个动态spark集群来运行多个作业。通过参考一些文章，我们可以通过使用EMR（Amazon）服务来实现这一点。 是否有任何方法可以在本地完成相同的设置？ 一旦Spark群集具有在不同服务器的不同端口上运行的服务，如何为每个作业指向新的Spark群集。 提前感谢。

是的，您可以使用Spark提供的群集来设置Spark群集（主节点和从节点）。也有docker容器可以用来实现这一点。看一看

---

其他选项将是在本地采用和部署Hadoop生态系统，如MapR、Hortonworks、Cloudera。

创建了一个独立的spark群集，并且能够在没有任何问题的情况下运行单个作业。详情如下。Spark版本：Spark-2.4.5 Mist版本：Mist-1.1.1现在我们的主要要求是运行多个作业。你能告诉我如何并行运行多个作业吗。