Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/flutter/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么spark shell--master Thread客户端失败了;UnknownHostException:无效的主机名";?_Apache Spark_Yarn_Apache Spark 1.6 - Fatal编程技术网

Apache spark 为什么spark shell--master Thread客户端失败了;UnknownHostException:无效的主机名";?

Apache spark 为什么spark shell--master Thread客户端失败了;UnknownHostException:无效的主机名";?,apache-spark,yarn,apache-spark-1.6,Apache Spark,Yarn,Apache Spark 1.6,这是Spark1.6.1 当我在spark/bin执行以下操作时 $ ./spark-shell --master yarn-client 我得到以下错误 我在/etc/hosts和Hadoop中检查了主机名,但它们被分配为相同的主机名。有什么想法吗?你的warn site.xml和其他Hadoop配置文件是什么?Spark版本是什么?Thread-site.xml配置部分看起来像:Thread.nodemanager.auxservices.mapreduce.shuffle.classo

这是Spark1.6.1

当我在
spark/bin执行以下操作时

$ ./spark-shell --master yarn-client
我得到以下错误


我在
/etc/hosts
和Hadoop中检查了主机名,但它们被分配为相同的主机名。有什么想法吗?

你的
warn site.xml
和其他Hadoop配置文件是什么?Spark版本是什么?Thread-site.xml配置部分看起来像:Thread.nodemanager.auxservices.mapreduce.shuffle.classorg.apache.hadoop.mapred.shuffleHandler Thread.resourcemanager.resource-tracker.address本地主机:8025 Thread.resourcemanager.scheduler.address本地主机:8030 Thread.resourcemanager.address主机:8035hdfs-site.xml配置部分看起来像:27 dfs.namenode.name.dir 28文件:/home/bohyun/data/hadoop/dfs/name 29 true 30 31 dfs.datanode.data.dir 32文件:/home/bohyun/data/hadoop/dfs/data 33 true 34 dfs.permissions false 35为什么将
warn.resourcemanager.address
值单独设置为
master
host而在其他属性中它是
localhost
?您在
/etc/hosts
中有
master
的条目吗?谢谢@franklinsijo&Jacek Laskowski。我像你提到的那样浏览了所有的xml文件,并重新编辑了路径,结果一切正常!非常感谢你的帮助!