Apache spark 火花束设置错误
通过互联网上的一些研究,我可以使用Apache spark 火花束设置错误,apache-spark,cluster-computing,Apache Spark,Cluster Computing,通过互联网上的一些研究,我可以使用 sbin/start-master.sh 在我的Ubuntu Linux计算机上启动spark主服务器spark服务 和使用 对于从节点,服务将启动并运行。 好消息是,我可以看到本地网页上发现了活着的作品 然而,在这之后,我试着发射外壳去工作 MASTER=spark://localhost:7077 bin/spark-shell 但它返回: sparkMaster@localhost:7077 因此,我将代码修改为 MASTER=spark://spa
sbin/start-master.sh
在我的Ubuntu Linux计算机上启动spark主服务器spark服务
和使用
对于从节点,服务将启动并运行。
好消息是,我可以看到本地网页上发现了活着的作品
然而,在这之后,我试着发射外壳去工作
MASTER=spark://localhost:7077 bin/spark-shell
但它返回:
sparkMaster@localhost:7077
因此,我将代码修改为
MASTER=spark://sparkuser@localhost:7077 bin/spark-shell
其中sparkuser是连接到两个节点的节点
然而,经过这样的修改,我得到了:
ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.
当我试着
MASTER=local-cluster[3,2,1024] bin/spark-shell
它的外壳上有spark标志,但我担心从节点没有绑定进去
我是否错过了Spark cluster设置的任何设置?只需按如下所示使用-master标志在cluster上启动Spark shell即可
./spark-shell --master spark://localhost:7077 bin/spark-shell
./spark-shell --master spark://localhost:7077 bin/spark-shell