Apache spark 在cloudera安装程序中安装livy或spark作业服务器的位置

Apache spark 在cloudera安装程序中安装livy或spark作业服务器的位置,apache-spark,Apache Spark,我们的分析设置为:cloudera设置位于unix服务器中。我们的web应用程序将对大数据平台进行rest调用(我们的web位于私有云中,我的云不允许使用ssh)。 我需要从web向spark服务器发出RESTAPI请求(这是cloudera设置的一部分) 因此,我们决定使用livy或spark作业服务器。现在我需要知道 在我们必须安装livy或spark作业服务器的地方…它必须安装在datanode中,或者如果出现问题,我需要安装在安装资源管理器的地方,还是可以安装在完全不同的unix设备中。

我们的分析设置为:cloudera设置位于unix服务器中。我们的web应用程序将对大数据平台进行rest调用(我们的web位于私有云中,我的云不允许使用ssh)。 我需要从web向spark服务器发出RESTAPI请求(这是cloudera设置的一部分) 因此,我们决定使用livy或spark作业服务器。现在我需要知道
在我们必须安装livy或spark作业服务器的地方…它必须安装在datanode中,或者如果出现问题,我需要安装在安装资源管理器的地方,还是可以安装在完全不同的unix设备中。

您可以在属于hadoop群集的任何服务器上安装livy。
服务器不必是datanode,您可以将其添加为集群的网关

网关节点是群集网络中的服务器,也可以作为外部服务的网关访问群集。
您可以在此处找到有关如何设置网关节点的更多信息:

现在,我需要知道我们必须在哪里安装livy或spark作业服务器……它必须安装在datanode中,还是在出现问题时,我需要将其安装在安装资源管理器的位置,或者我们可以将其安装在完全不同的unix框中


它们只是另一种软件,因此您可以将它们安装在任何服务器上,即安装spark cluster的服务器或网络中的任何服务器上。这些作业服务器的任务是将您的作业提交给spark。

在集群外部但在网络内部如何?我可以使用这个配置吗。。。?