Apache spark ApacheSpark2.4不支持Hadoop2.8.3?
我已经在我的Windows10环境中安装了Hadoop 2.8.3版,并且运行良好。现在,当我尝试安装ApacheSpark(版本2.4.0)并使用Thread作为集群管理器时,它不起作用。当我尝试使用spark submit提交spark作业进行测试时,它会在Thread UI的ACCEPTED选项卡下出现,但失败了 我附上了纱线容器原木的图片。 这是我的spark defaults.confApache spark ApacheSpark2.4不支持Hadoop2.8.3?,apache-spark,yarn,hadoop2,Apache Spark,Yarn,Hadoop2,我已经在我的Windows10环境中安装了Hadoop 2.8.3版,并且运行良好。现在,当我尝试安装ApacheSpark(版本2.4.0)并使用Thread作为集群管理器时,它不起作用。当我尝试使用spark submit提交spark作业进行测试时,它会在Thread UI的ACCEPTED选项卡下出现,但失败了 我附上了纱线容器原木的图片。 这是我的spark defaults.conf spark.master yarn spark.dr
spark.master yarn
spark.driver.memory 512m
spark.yarn.am.memory 512m
spark.executor.memory 2G
spark.executor.cores 1
spark.eventLog.enabled true
spark.eventLog.dir hdfs://localhost:9000/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://localhost:9000/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 18080