Hadoop 火花束起动问题

我是spark的新手，正在尝试设置spark cluster。我做了以下事情来设置和检查spark cluster的状态，但不确定状态

我试图在浏览器中检查主ip:8081（80804040404041），但没有看到任何结果。首先，我设置并启动了hadoop集群

 JPS gives:

 2436 SecondaryNameNode
 2708 NodeManager
 2151 NameNode
 5495 Master
 2252 DataNode
 2606 ResourceManager
 5710 Jps

问题（是否有必要启动hadoop？）

在Master/usr/local/spark/conf/slaves中

 localhost
 slave-node-1
 slave-node-2

现在，开始火花；大师从

  $SPARK_HOME/sbin/start-master.sh 

并进行了测试

  ps -ef|grep spark
  hduser    5495     1  0 18:12 pts/0    00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/*:/usr/local/hadoop/etc/hadoop/ -Xmx1g org.apache.spark.deploy.master.Master --host master-hostname --port 7077 --webui-port 8080

 ps -ef|grep spark
 hduser    1847     1 20 18:24 pts/0    00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-ip:7077

在从属节点1上

 $SPARK_HOME/sbin/start-slave.sh spark://205.147.102.19:7077

测试

  ps -ef|grep spark
  hduser    5495     1  0 18:12 pts/0    00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/*:/usr/local/hadoop/etc/hadoop/ -Xmx1g org.apache.spark.deploy.master.Master --host master-hostname --port 7077 --webui-port 8080

 ps -ef|grep spark
 hduser    1847     1 20 18:24 pts/0    00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-ip:7077

在从属节点2上相同

  $SPARK_HOME/sbin/start-slave.sh spark://master-ip:7077
  ps -ef|grep spark
  hduser    1948     1  3 18:18 pts/0    00:00:03 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-ip:7077

我在spark的网络控制台上看不到任何东西。。所以我想问题可能出在防火墙上。这是我的笔记本

  iptables -L -nv
  Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
  pkts bytes target     prot opt in     out     source               destination         
  6136  587K fail2ban-ssh  tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            multiport dports 22
  151K   25M ACCEPT     all  --  *      *       0.0.0.0/0            0.0.0.0/0            state RELATED,ESTABLISHED
  6   280 ACCEPT     icmp --  *      *       0.0.0.0/0            0.0.0.0/0           
  579 34740 ACCEPT     all  --  lo     *       0.0.0.0/0            0.0.0.0/0           
  34860 2856K ACCEPT     all  --  eth1   *       0.0.0.0/0            0.0.0.0/0           
  145  7608 ACCEPT     tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            state NEW tcp dpt:22
  56156 5994K REJECT     all  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-host-prohibited
  0     0 ACCEPT     tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp dpt:8080
  0     0 ACCEPT     tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp dpt:8081

  Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
  pkts bytes target     prot opt in     out     source               destination         
  0     0 REJECT     all  --  *      *       0.0.0.0/0            0.0.0.0/0            reject-with icmp-host-prohibited

 Chain OUTPUT (policy ACCEPT 3531 packets, 464K bytes)
 pkts bytes target     prot opt in     out     source               destination         

 Chain fail2ban-ssh (1 references)
 pkts bytes target     prot opt in     out     source               destination         
 2   120 REJECT     all  --  *      *       218.87.109.153       0.0.0.0/0            reject-with icmp-port-unreachable
 5794  554K RETURN     all  --  *      *       0.0.0.0/0            0.0.0.0/0           

我正在尽我所能，看看是否火花群集设置和如何正确检查它。若集群已经设置好了，为什么我不能在web控制台上检查呢？有什么不对劲吗？任何指示都会有帮助

编辑-在spark shell之后添加日志--主本地命令（在主命令中）

在从属节点中-

 17/01/11 18:22:46 INFO Worker: Connecting to master master:7077...
 17/01/11 18:22:46 WARN Worker: Failed to connect to master master:7077

大量java错误

 17/01/11 18:31:18 ERROR Worker: All masters are unresponsive! Giving up.

---

创建SparkContext时启动Spark Web UI

尝试运行spark shell--master yourmaster:7077，然后打开spark UI。您还可以使用

spark sumit

提交一些应用程序，然后将创建SparkContext

示例

spark提交
，来自spark：

第一个问题的答案：若要使用HDFS或Thread，必须启动Hadoop组件。如果没有，则无法启动

您也可以转到
/etc/hosts/
删除带有127.0.0.1的行，或将Spark配置中的
主控IP
变量设置为正确的主机名
问题在于IP表。大多数其他事情都很好。所以我只是按照这里的说明来修复IP表，这对我来说很有效。您应该知道的唯一一件事是spark/hadoop等将使用哪些端口。我打开了808054310500707077（许多人在hadoop和spark安装中使用了一些默认值）.
spark shell--master local（在maser中）收到消息说spark上下文Web UI可在。。。但当打开浏览器时，没有显示任何内容。。。所以我的问题是火花簇启动了吗？从机1和从机2是集群的一部分吗？如果是，我如何确认？最后，web控制台可能有什么问题？请检查编辑。。我猜问题可能是iptables，我猜集群并没有启动。因为iptables。。。但我仍然无法理解为什么我看不到webconsole…我觉得问题可能是iptables/网络。。我确实在iptables中添加了这个-ACCEPT tcp--0.0.0.0/0.0.0/0 tcp dpt:7077，但日志显示它无法连接到具有指定ip地址的主机。。。有什么想法吗？@user1478061停止iptables进行测试，看看Spark是否正常工作。如果没有，请查看我的编辑-设置主机IP并从
/etc/hosts
中删除本地主机的IP。罪魁祸首是预期的IP表。。。我只是尝试运行tomcat，当它也无法运行时，我意识到是时候修复iptables了。。非常感谢！你的讨论对我帮助很大！我现在可以访问Webconsole和其他所有内容：）