Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/370.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何在未安装Spark的机器上远程执行Spark作业?_Java_Apache Spark - Fatal编程技术网

Java 如何在未安装Spark的机器上远程执行Spark作业?

Java 如何在未安装Spark的机器上远程执行Spark作业?,java,apache-spark,Java,Apache Spark,我在一台远程电脑上安装了spark、hadoop、cassandra,地址是10.211.55.3,名字是ubuntu。事实上,它是我mac电脑上的一台虚拟机。对于本地PC,我没有安装Spark,我只有Java,当然还有所有必要的jar文件 现在,可以在远程PC上启动一个主机和几个从机,spark shell也可以在远程PC上正常工作 我在本地PC上创建了一个Java项目,在这个项目中,我想连接到远程PC上的主机,以便发布Spark作业,但是连接失败,无论我是否使用 new SparkConf(

我在一台远程电脑上安装了spark、hadoop、cassandra,地址是10.211.55.3,名字是ubuntu。事实上,它是我mac电脑上的一台虚拟机。对于本地PC,我没有安装Spark,我只有Java,当然还有所有必要的jar文件

现在,可以在远程PC上启动一个主机和几个从机,spark shell也可以在远程PC上正常工作

我在本地PC上创建了一个Java项目,在这个项目中,我想连接到远程PC上的主机,以便发布Spark作业,但是连接失败,无论我是否使用

new SparkConf().setAppName("TestApp").setMaster("spark://10.211.55.3:7077");

我认为我应该使用IP地址的版本,但它会给我以下错误消息:

Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]
所以我的问题是,如果没有安装Spark,只有jar文件,那么是否可以在本地PC上执行带有Spark作业的Java应用程序? 如果可能,是否有一些选项/参数来启用此功能?或者在本地PC上安装Spark是绝对必要的

非常感谢

编辑1: 好啊我承认我在做什么……我有一台Mac电脑,我在里面安装了一台Ubuntu虚拟机。虚拟机的IP地址为10.211.55.3


此外,主/从设备正在运行,我可以通过web浏览器访问它们的状态,ip地址也可以工作。

您是否能够浏览并看到spark群集正在运行?您是否尝试ping此地址以确保其工作?您确实知道10.211.55.3是由您正在使用的虚拟化软件创建的子网络,您无法从本地PC访问它。请将虚拟机网络适配器设置为桥接模式在尝试从外部主机(例如,不是您的mac)连接到它之前。@Teodor BogdanBarbieru谢谢您的建议,但即使我将网络适配器更改为桥接模式,它仍然无法工作。
Could not connect to 10.211.55.3:7077: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@10.211.55.3:7077]
akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka.tcp://sparkMaster@10.211.55.3:7077/), Path(/user/Master)]