Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 火花束设置错误_Apache Spark_Cluster Computing - Fatal编程技术网

Apache spark 火花束设置错误

Apache spark 火花束设置错误,apache-spark,cluster-computing,Apache Spark,Cluster Computing,通过互联网上的一些研究,我可以使用 sbin/start-master.sh 在我的Ubuntu Linux计算机上启动spark主服务器spark服务 和使用 对于从节点,服务将启动并运行。 好消息是,我可以看到本地网页上发现了活着的作品 然而,在这之后,我试着发射外壳去工作 MASTER=spark://localhost:7077 bin/spark-shell 但它返回: sparkMaster@localhost:7077 因此,我将代码修改为 MASTER=spark://spa

通过互联网上的一些研究,我可以使用

sbin/start-master.sh
在我的Ubuntu Linux计算机上启动spark主服务器spark服务 和使用

对于从节点,服务将启动并运行。 好消息是,我可以看到本地网页上发现了活着的作品

然而,在这之后,我试着发射外壳去工作

MASTER=spark://localhost:7077 bin/spark-shell
但它返回: sparkMaster@localhost:7077

因此,我将代码修改为

MASTER=spark://sparkuser@localhost:7077 bin/spark-shell
其中sparkuser是连接到两个节点的节点 然而,经过这样的修改,我得到了:

ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.
当我试着

MASTER=local-cluster[3,2,1024] bin/spark-shell
它的外壳上有spark标志,但我担心从节点没有绑定进去


我是否错过了Spark cluster设置的任何设置?

只需按如下所示使用-master标志在cluster上启动Spark shell即可

       ./spark-shell --master spark://localhost:7077 bin/spark-shell
       ./spark-shell --master spark://localhost:7077 bin/spark-shell