理解Hadoop中的Spark

理解Hadoop中的Spark,hadoop,apache-spark,Hadoop,Apache Spark,在我的设置中,Hadoop和Spark都运行在同一个网络上,但在不同的节点上。我们可以将Spark作为一项单独的服务启动,与您现有的Hadoop集群一起运行。它会显示出性能上的任何改进吗 我在HDFS中加载了数千个10GB左右的文件 Hadoop有8个节点,Spark有1个主节点和5个工作节点只要工作节点在同一个节点上,我们就具有局部性优势。您也可以与hadoop一起启动您的服务

在我的设置中,Hadoop和Spark都运行在同一个网络上,但在不同的节点上。我们可以将Spark作为一项单独的服务启动,与您现有的Hadoop集群一起运行。它会显示出性能上的任何改进吗

我在HDFS中加载了数千个10GB左右的文件


Hadoop有8个节点,Spark有1个主节点和5个工作节点

只要工作节点在同一个节点上,我们就具有局部性优势。您也可以与hadoop一起启动您的服务