Apache spark Spark master Web Ui在Cloudera Quick start Vmware中显示Spark worker信息0

Apache spark Spark master Web Ui在Cloudera Quick start Vmware中显示Spark worker信息0,apache-spark,spark-streaming,apache-spark-sql,Apache Spark,Spark Streaming,Apache Spark Sql,Spark Master WebUI没有显示Spark worker信息,而且worker在Cloudera Quickstart VM 5.3.0中运行良好 Cloudera Quickstart vm中的配置文件: export SPARK_LAUNCH_WITH_SCALA=0 export SPARK_LAUNCH_WITH_SCALA=0 export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib export SPARK_MASTER_WEBUI_PORT

Spark Master WebUI没有显示Spark worker信息,而且worker在Cloudera Quickstart VM 5.3.0中运行良好

Cloudera Quickstart vm中的配置文件:

export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_DIR=/var/run/spark/work
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR='/var/run/spark/'

您好,如果您使用cloudera quickstart vm,我找到了解决方案,然后在etc/spark/conf/Sparkenv.sh中添加两行:

export SPARK_MASTER_HOST='quickstart.cloudera' 
export SPARK_LOCAL_HOST='quickstart.cloudera' 

之后,重新启动spark master和worker。您现在可以在master中的信息中看到工人。

此处相同。有更新吗?您好,如果您使用cloudera,我找到了解决方案,然后在etc/spark/conf/Sparkenv.sh export spark\u MASTER\u HOST='quickstart.cloudera'export spark\u LOCAL\u HOST='quickstart.cloudera'中添加两行,然后重新启动spark MASTER和worker。您可以在现在掌握信息。这真的很有帮助,你应该把评论作为答案,并标记它已完成,谢谢你的帮助!