本地模式下的Nutch独立于Hadoop吗?

本地模式下的Nutch独立于Hadoop吗?,hadoop,mapreduce,web-crawler,nutch,Hadoop,Mapreduce,Web Crawler,Nutch,我知道在部署模式下运行Nutch是基于Hadoop的分布式爬行,但我不能完全理解在本地模式下运行它时会发生什么。在这种情况下,Nutch独立于Hadoop吗?本地模式下的爬行过程是否不基于MapReduce?Nutch基于MapReduce,无论它如何运行。Hadoop库是Nutch的依赖项,在本地模式下,Nutch将Hadoop相关库放在类路径上,并在单个JVM中运行。在分布式模式下,调用“hadoop”命令 见 PS:如果您在一台机器上使用Nutch,那么在伪分布式模式下运行它是有意义的,这

我知道在部署模式下运行Nutch是基于Hadoop的分布式爬行,但我不能完全理解在本地模式下运行它时会发生什么。在这种情况下,Nutch独立于Hadoop吗?本地模式下的爬行过程是否不基于MapReduce?

Nutch基于MapReduce,无论它如何运行。Hadoop库是Nutch的依赖项,在本地模式下,Nutch将Hadoop相关库放在类路径上,并在单个JVM中运行。在分布式模式下,调用“hadoop”命令



PS:如果您在一台机器上使用Nutch,那么在伪分布式模式下运行它是有意义的,这样您就可以让MapReduce UI监视爬网+并行性等。

Nutch基于MapReduce,不管它如何运行。Hadoop库是Nutch的依赖项,在本地模式下,Nutch将Hadoop相关库放在类路径上,并在单个JVM中运行。在分布式模式下,调用“hadoop”命令



PS:如果您在一台机器上使用Nutch,那么在伪分布式模式下运行它是有意义的,这样您就可以让MapReduce UI监视爬网+并行性等。

Ok。所以在本地模式下,Nutch只使用Hadoop的MapReduce机制,而不使用其他任何东西。我说得对吗?“还有别的事吗”->HDFS?默认情况下不会使用它。顺便说一句,我们是在谈论Nutch 1.x吗?是的,我正在使用1.12。如何在独立模式下使用HDFS?好的。所以在本地模式下,Nutch只使用Hadoop的MapReduce机制,而不使用其他任何东西。我说得对吗?“还有别的事吗”->HDFS?默认情况下不会使用它。顺便说一句,我们是在谈论Nutch 1.x吗?是的,我正在使用1.12。如何在独立模式下使用HDFS?