Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark ApacheSpark2.4不支持Hadoop2.8.3?_Apache Spark_Yarn_Hadoop2 - Fatal编程技术网

Apache spark ApacheSpark2.4不支持Hadoop2.8.3?

Apache spark ApacheSpark2.4不支持Hadoop2.8.3?,apache-spark,yarn,hadoop2,Apache Spark,Yarn,Hadoop2,我已经在我的Windows10环境中安装了Hadoop 2.8.3版,并且运行良好。现在,当我尝试安装ApacheSpark(版本2.4.0)并使用Thread作为集群管理器时,它不起作用。当我尝试使用spark submit提交spark作业进行测试时,它会在Thread UI的ACCEPTED选项卡下出现,但失败了 我附上了纱线容器原木的图片。 这是我的spark defaults.conf spark.master yarn spark.dr

我已经在我的Windows10环境中安装了Hadoop 2.8.3版,并且运行良好。现在,当我尝试安装ApacheSpark(版本2.4.0)并使用Thread作为集群管理器时,它不起作用。当我尝试使用spark submit提交spark作业进行测试时,它会在Thread UI的ACCEPTED选项卡下出现,但失败了

我附上了纱线容器原木的图片。

这是我的spark defaults.conf

spark.master                        yarn
spark.driver.memory                 512m
spark.yarn.am.memory                512m
spark.executor.memory               2G
spark.executor.cores                1
spark.eventLog.enabled              true
spark.eventLog.dir                  hdfs://localhost:9000/spark-logs
spark.history.provider              org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory       hdfs://localhost:9000/spark-logs
spark.history.fs.update.interval    10s
spark.history.ui.port               18080