Apache spark Mesos RPCENDPOINTENTNOTFOUNDException上的火花
我无法在Mesos上启动spark作业,当它自动启动时会出现以下错误:Apache spark Mesos RPCENDPOINTENTNOTFOUNDException上的火花,apache-spark,Apache Spark,我无法在Mesos上启动spark作业,当它自动启动时会出现以下错误: "Caused by: org.apache.spark.rpc.RpcEndpointNotFoundException: Cannot find endpoint: spark://CoarseGrainedScheduler@10.32.8.178:59737" 可能是因为版本之间不匹配?如果我启动一个与发行版一起提供的示例,它将非常有效 谢谢现在可以工作了。我没有正确地设置数据输入路径是应用程序故障
"Caused by: org.apache.spark.rpc.RpcEndpointNotFoundException: Cannot find
endpoint: spark://CoarseGrainedScheduler@10.32.8.178:59737"
可能是因为版本之间不匹配?如果我启动一个与发行版一起提供的示例,它将非常有效
谢谢现在可以工作了。我没有正确地设置数据输入路径是应用程序故障 在mesos中,您有两种部署选项,集群模式或客户端模式。我选择了集群模式,我有一个spark守护进程MesosClusterDispatcher,它总是监听spark作业,这就是为什么我使用mesos://spark-mesos-dispatcher.marathon.mesos:7077
谢谢Jacek 如何提交spark?/bin/spark提交-类主-主mesos://spark-mesos-dispatcher.marathon.mesos:7077 -部署模式cluster/home/ggallo/Frequency-assembly-1.0.jar您确定mesos://spark-mesos-dispatcher.marathon.mesos:7077? 应该是mesos://spark-mesos-dispatcher.marathon.mesos:5050是吗?但是,您将面临另一条错误消息。是的,确实是在端口7077中。检查信息:。在同一页面中,您可以找到:传入Mesos主URL,例如:mesos://host:5050. 请检查5050,因为我一直在独家使用它,并且认为7077是Spark Standalone的文档中Spark留下的。