Apache spark 为什么spark shell--master Thread客户端失败了;UnknownHostException:无效的主机名";?
这是Spark1.6.1 当我在Apache spark 为什么spark shell--master Thread客户端失败了;UnknownHostException:无效的主机名";?,apache-spark,yarn,apache-spark-1.6,Apache Spark,Yarn,Apache Spark 1.6,这是Spark1.6.1 当我在spark/bin执行以下操作时 $ ./spark-shell --master yarn-client 我得到以下错误 我在/etc/hosts和Hadoop中检查了主机名,但它们被分配为相同的主机名。有什么想法吗?你的warn site.xml和其他Hadoop配置文件是什么?Spark版本是什么?Thread-site.xml配置部分看起来像:Thread.nodemanager.auxservices.mapreduce.shuffle.classo
spark/bin执行以下操作时
$ ./spark-shell --master yarn-client
我得到以下错误
我在/etc/hosts
和Hadoop中检查了主机名,但它们被分配为相同的主机名。有什么想法吗?你的warn site.xml
和其他Hadoop配置文件是什么?Spark版本是什么?Thread-site.xml配置部分看起来像:Thread.nodemanager.auxservices.mapreduce.shuffle.classorg.apache.hadoop.mapred.shuffleHandler Thread.resourcemanager.resource-tracker.address本地主机:8025 Thread.resourcemanager.scheduler.address本地主机:8030 Thread.resourcemanager.address主机:8035hdfs-site.xml配置部分看起来像:27 dfs.namenode.name.dir 28文件:/home/bohyun/data/hadoop/dfs/name 29 true 30 31 dfs.datanode.data.dir 32文件:/home/bohyun/data/hadoop/dfs/data 33 true 34 dfs.permissions false 35为什么将warn.resourcemanager.address
值单独设置为master
host而在其他属性中它是localhost
?您在/etc/hosts
中有master
的条目吗?谢谢@franklinsijo&Jacek Laskowski。我像你提到的那样浏览了所有的xml文件,并重新编辑了路径,结果一切正常!非常感谢你的帮助!