Apache spark 如何在簇模式下使用Spark设置纱线

我需要在centos7上设置spark群集（1个主节点和2个从节点），并将资源管理器作为线程。我对这一切还不熟悉，仍在探索。有人能和我分享一下在集群模式下用纱线设置火花的详细步骤吗。 之后，我还必须集成Livy（一个在任何地方使用Spark的开源REST接口）。

---

欢迎输入。谢谢，纱线是Hadoop的一部分。因此，必须安装Hadoop才能在纱线上运行Spark。
请查看网站上的页面

然后，您可以利用来了解纱线上的火花

---

快速了解Hadoop、Thread和Spark的另一种方法是利用Hadoop的Cloudera分布（CDH）。阅读。

我们目前正在aws中使用类似的设置。因此，AWS EMR成本高昂 我们在的帮助下使用ec2机器建立自己的集群。cookbook支持多种发行版，但我们选择HDP

设置包括以下内容

主设置

Spark（与历史服务器一起）

纱线资源经理

HDFS名称节点

利维服务器

从属设置

纱线节点管理器

HDFS数据节点

有关手动安装的详细信息，请参阅

您可以在中看到自动化的部分