Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
hadoop 2.8是否支持ApacheSpark cluster 2.1?_Hadoop_Apache Spark_Cluster Computing - Fatal编程技术网

hadoop 2.8是否支持ApacheSpark cluster 2.1?

hadoop 2.8是否支持ApacheSpark cluster 2.1?,hadoop,apache-spark,cluster-computing,Hadoop,Apache Spark,Cluster Computing,您能告诉我Apache Hadoop 2.8是否与Apache spark 2.1.1兼容吗? 我已经在安装ApacheHadoop2.8的地方建立了一个测试集群,现在我们需要在上面安装ApacheSpark2.1.1。 如果是,请告诉我们哪个软件包适合安装?(请在此提供URL)。请检查。除了spark、scala和hadoop的版本外,其他所有版本都应该相同。@RameshMaharjan感谢您的回复。不知怎的,我最终用spark 1.6安装了hadoop 2.6。现在一切正常,但Hadoop

您能告诉我Apache Hadoop 2.8是否与Apache spark 2.1.1兼容吗? 我已经在安装ApacheHadoop2.8的地方建立了一个测试集群,现在我们需要在上面安装ApacheSpark2.1.1。
如果是,请告诉我们哪个软件包适合安装?(请在此提供URL)。

请检查。除了spark、scala和hadoop的版本外,其他所有版本都应该相同。@RameshMaharjan感谢您的回复。不知怎的,我最终用spark 1.6安装了hadoop 2.6。现在一切正常,但Hadoop的Datanode无论如何都不会启动。有什么解决办法吗?如果它与spark 1.6一起工作,那么它也应该与spark 2.1.1相同。照同样的方法去做。你遇到什么问题了吗?如果是,让我们一起来解决它们。@RameshMaharjan是的,它在2.1.1中也起作用。但在这里,我遇到了同样的问题,那就是Hadoop的DataNode无法工作。我已经做了一些麻烦的步骤,但唉,您想查看Hadoop的配置文件吗?像hdfs-site.xml、core-site.xml等等?你有没有检查datanode的日志?我感到困惑的是,如果它适用于1.6,那么为什么不适用于2.1.1?请检查。除了spark、scala和hadoop的版本外,其他所有版本都应该相同。@RameshMaharjan感谢您的回复。不知怎的,我最终用spark 1.6安装了hadoop 2.6。现在一切正常,但Hadoop的Datanode无论如何都不会启动。有什么解决办法吗?如果它与spark 1.6一起工作,那么它也应该与spark 2.1.1相同。照同样的方法去做。你遇到什么问题了吗?如果是,让我们一起来解决它们。@RameshMaharjan是的,它在2.1.1中也起作用。但在这里,我遇到了同样的问题,那就是Hadoop的DataNode无法工作。我已经做了一些麻烦的步骤,但唉,您想查看Hadoop的配置文件吗?像hdfs-site.xml、core-site.xml等等?你有没有检查datanode的日志?我感到困惑的是,如果它适用于1.6,那么为什么不适用于2.1.1呢?