Java 如何在未安装Spark的机器上远程执行Spark作业?
我在一台远程电脑上安装了spark、hadoop、cassandra,地址是10.211.55.3,名字是ubuntu。事实上,它是我mac电脑上的一台虚拟机。对于本地PC,我没有安装Spark,我只有Java,当然还有所有必要的jar文件 现在,可以在远程PC上启动一个主机和几个从机,spark shell也可以在远程PC上正常工作 我在本地PC上创建了一个Java项目,在这个项目中,我想连接到远程PC上的主机,以便发布Spark作业,但是连接失败,无论我是否使用Java 如何在未安装Spark的机器上远程执行Spark作业?,java,apache-spark,Java,Apache Spark,我在一台远程电脑上安装了spark、hadoop、cassandra,地址是10.211.55.3,名字是ubuntu。事实上,它是我mac电脑上的一台虚拟机。对于本地PC,我没有安装Spark,我只有Java,当然还有所有必要的jar文件 现在,可以在远程PC上启动一个主机和几个从机,spark shell也可以在远程PC上正常工作 我在本地PC上创建了一个Java项目,在这个项目中,我想连接到远程PC上的主机,以便发布Spark作业,但是连接失败,无论我是否使用 new SparkConf(
new SparkConf().setAppName("TestApp").setMaster("spark://10.211.55.3:7077");
或
我认为我应该使用IP地址的版本,但它会给我以下错误消息:
Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]
所以我的问题是,如果没有安装Spark,只有jar文件,那么是否可以在本地PC上执行带有Spark作业的Java应用程序?
如果可能,是否有一些选项/参数来启用此功能?或者在本地PC上安装Spark是绝对必要的
非常感谢
编辑1:
好啊我承认我在做什么……我有一台Mac电脑,我在里面安装了一台Ubuntu虚拟机。虚拟机的IP地址为10.211.55.3
此外,主/从设备正在运行,我可以通过web浏览器访问它们的状态,ip地址也可以工作。您是否能够浏览并看到spark群集正在运行?您是否尝试ping此地址以确保其工作?您确实知道10.211.55.3是由您正在使用的虚拟化软件创建的子网络,您无法从本地PC访问它。请将虚拟机网络适配器设置为桥接模式在尝试从外部主机(例如,不是您的mac)连接到它之前。@Teodor BogdanBarbieru谢谢您的建议,但即使我将网络适配器更改为桥接模式,它仍然无法工作。
Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]