Apache spark 独立Apache Spark-将什么作为从属ip和端口？_Apache Spark

Apache spark 独立Apache Spark-将什么作为从属ip和端口？

apache-spark

Apache spark 独立Apache Spark-将什么作为从属ip和端口？,apache-spark,Apache Spark,我正试图在本地的MacBookPro上启动Apache Spark群集。我以以下内容开始大师课程： myMachine$ ./start-master.sh 然后在记录器中，我有以下内容： 14/08/30 10:25:38 INFO Master: Starting Spark master at spark://myMachine.local:7077 现在我需要启动一个从机： myMachine$./bin/spark-class org.apache.spark.deploy.wor

我正试图在本地的MacBookPro上启动Apache Spark群集。我以以下内容开始大师课程：

myMachine$ ./start-master.sh

然后在记录器中，我有以下内容：

14/08/30 10:25:38 INFO Master: Starting Spark master at spark://myMachine.local:7077

现在我需要启动一个从机：

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

这里的正确IP和端口应该是什么？谢谢

你只是告诉这个奴隶到哪里去找主人。它应该使用

myMachine.local

或者甚至

localhost

作为“IP”（我不认为它真的需要一个实际的IP地址，一个主机名就可以了）和

作为端口——也就是说，只是模仿启动主机时打印出来的内容

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

你只是告诉这个奴隶到哪里去找主人。它应该使用

myMachine.local

或者甚至

localhost

作为“IP”（我不认为它真的需要一个实际的IP地址，一个主机名就可以了）和

作为端口——也就是说，只是模仿启动主机时打印出来的内容

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

你只是告诉这个奴隶到哪里去找主人。它应该使用

myMachine.local

或者甚至

localhost

作为“IP”（我不认为它真的需要一个实际的IP地址，一个主机名就可以了）和

作为端口——也就是说，只是模仿启动主机时打印出来的内容

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

你只是告诉这个奴隶到哪里去找主人。它应该使用

myMachine.local

或者甚至

localhost

作为“IP”（我不认为它真的需要一个实际的IP地址，一个主机名就可以了）和

作为端口——也就是说，只是模仿启动主机时打印出来的内容

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

启动master后，转到

  localhost:8080

将有您的主ip和端口信息，如

Spark Master at spark://yourip:7077

启动master后，转到

  localhost:8080

将有您的主ip和端口信息，如

Spark Master at spark://yourip:7077

启动master后，转到

  localhost:8080

将有您的主ip和端口信息，如

Spark Master at spark://yourip:7077

启动master后，转到

  localhost:8080

将有您的主ip和端口信息，如

Spark Master at spark://yourip:7077

因为我花了一段时间才弄明白，所以我要指出，如果您只需要一个Scala控制台，就可以在您的笔记本电脑上玩一些示例，那么您实际上可能不需要集群。您只需运行

/bin/spark shell--master local[4]

并使用

：load

加载Scala代码--4是线程数，您可以调整。如果你检查了，你会发现你甚至可以把一个jar的名字放在这个命令的末尾，把它添加到类路径中。谢谢Spiro！我按照你的建议设置了工人，而主人似乎找到了。但是，Java WordCount示例仍然不起作用。以下是错误消息，我在这里遗漏了什么？谢谢！“WARN AppClient$ClientActor:无法连接到master org.apache.spark.sparkeException:无效的master URL:spark://spark://myMachine.local:7077 在org.apache.spark.deploy.master.master$.toakkaul（master.scala:777）“。。。“WARN TaskSchedulerImpl:初始作业未接受任何资源；请检查群集UI以确保已注册工作进程并具有足够的内存”@Edamame:是否运行其他示例？最重要的是，错误消息中的URL有一个重复的方案

spark://spark://

--您确定没有在spark类命令中意外地重复它吗？或者您是否使用了其他涉及主机和端口的命令？谢谢Spiro！是的，你是对的，我说spark://spark://myMachine.local:7077 在JavaVM参数中。我修复了它，作业MapReduce作业开始了！再次感谢！因为我花了一段时间才弄明白，所以我要指出，如果您只需要一个Scala控制台，就可以在您的笔记本电脑上玩一些示例，那么您实际上可能不需要集群。您只需运行

/bin/spark shell--master local[4]

并使用

：load

spark://spark://

/bin/spark shell--master local[4]

并使用

：load